Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Business Intelligence Discussion :

fin des etl , debut des kafka stream ?


Sujet :

Business Intelligence

  1. #1
    Membre émérite
    fin des etl , debut des kafka stream ?
    Bonjour ,

    Au cours d'une discussion j'ai eu comme echo " la fin programmée des etl" en cause la lourdeur. A la place on parle de remplacer par Kafka stream ? Qu'est-ce exactement ?

  2. #2
    Membre éprouvé
    Salut,

    Kafka est un MOM (Message Oriented Middleware), adapté au traitement des gros volumes.
    En gros c'est l'équivalent de ActiveMQ, mais dans le monde du Big Data. Il arrive à traiter une grande quantité de messages car il peut être déployé en cluster, et est donc très scalable.

    Kafka Streams est une librairie permettant de mettre en œuvre des transformations sur les données contenues dans les messages.
    C'est très bien décrit dans cet article : https://blog.octo.com/kafka-streams-...am-processing/

    D'ici à dire que ce type d'outil va remplacer les ETL...
    C'est un peu comme si on disait que les Datawarehouses vont disparaître à cause des Datalakes...

    Nicolas

  3. #3
    Membre émérite
    Bonsoir ,

    Merci de votre point de vue