Bonjour ,
Au cours d'une discussion j'ai eu comme echo " la fin programmée des etl" en cause la lourdeur. A la place on parle de remplacer par Kafka stream ? Qu'est-ce exactement ?
Version imprimable
Bonjour ,
Au cours d'une discussion j'ai eu comme echo " la fin programmée des etl" en cause la lourdeur. A la place on parle de remplacer par Kafka stream ? Qu'est-ce exactement ?
Salut,
Kafka est un MOM (Message Oriented Middleware), adapté au traitement des gros volumes.
En gros c'est l'équivalent de ActiveMQ, mais dans le monde du Big Data. Il arrive à traiter une grande quantité de messages car il peut être déployé en cluster, et est donc très scalable.
Kafka Streams est une librairie permettant de mettre en œuvre des transformations sur les données contenues dans les messages.
C'est très bien décrit dans cet article : https://blog.octo.com/kafka-streams-...am-processing/
D'ici à dire que ce type d'outil va remplacer les ETL...
C'est un peu comme si on disait que les Datawarehouses vont disparaître à cause des Datalakes... :mouarf:
Nicolas
Bonsoir ,
Merci de votre point de vue :)