IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Business Intelligence Discussion :

fin des etl , debut des kafka stream ?


Sujet :

Business Intelligence

  1. #1
    Membre expert

    Profil pro
    Inscrit en
    janvier 2011
    Messages
    2 481
    Détails du profil
    Informations personnelles :
    Localisation : Belgique

    Informations forums :
    Inscription : janvier 2011
    Messages : 2 481
    Points : 3 388
    Points
    3 388
    Par défaut fin des etl , debut des kafka stream ?
    Bonjour ,

    Au cours d'une discussion j'ai eu comme echo " la fin programmée des etl" en cause la lourdeur. A la place on parle de remplacer par Kafka stream ? Qu'est-ce exactement ?

  2. #2
    Membre éprouvé
    Homme Profil pro
    Architecte Décisionnel
    Inscrit en
    février 2008
    Messages
    844
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 45
    Localisation : France, Haute Garonne (Midi Pyrénées)

    Informations professionnelles :
    Activité : Architecte Décisionnel

    Informations forums :
    Inscription : février 2008
    Messages : 844
    Points : 1 229
    Points
    1 229
    Par défaut
    Salut,

    Kafka est un MOM (Message Oriented Middleware), adapté au traitement des gros volumes.
    En gros c'est l'équivalent de ActiveMQ, mais dans le monde du Big Data. Il arrive à traiter une grande quantité de messages car il peut être déployé en cluster, et est donc très scalable.

    Kafka Streams est une librairie permettant de mettre en œuvre des transformations sur les données contenues dans les messages.
    C'est très bien décrit dans cet article : https://blog.octo.com/kafka-streams-...am-processing/

    D'ici à dire que ce type d'outil va remplacer les ETL...
    C'est un peu comme si on disait que les Datawarehouses vont disparaître à cause des Datalakes...

    Nicolas

  3. #3
    Membre expert

    Profil pro
    Inscrit en
    janvier 2011
    Messages
    2 481
    Détails du profil
    Informations personnelles :
    Localisation : Belgique

    Informations forums :
    Inscription : janvier 2011
    Messages : 2 481
    Points : 3 388
    Points
    3 388
    Par défaut
    Bonsoir ,

    Merci de votre point de vue

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. pourquoi un 's' à la fin des tables ?
    Par Miksimus dans le forum Ruby on Rails
    Réponses: 2
    Dernier message: 07/07/2005, 10h04
  2. enregistrement d'espaces a la fin des champs
    Par virJnie dans le forum MS SQL Server
    Réponses: 4
    Dernier message: 19/05/2005, 14h55
  3. Réponses: 17
    Dernier message: 18/03/2005, 10h23

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo