Bonjour ,
Au cours d'une discussion j'ai eu comme echo " la fin programmée des etl" en cause la lourdeur. A la place on parle de remplacer par Kafka stream ? Qu'est-ce exactement ?
Bonjour ,
Au cours d'une discussion j'ai eu comme echo " la fin programmée des etl" en cause la lourdeur. A la place on parle de remplacer par Kafka stream ? Qu'est-ce exactement ?
Salut,
Kafka est un MOM (Message Oriented Middleware), adapté au traitement des gros volumes.
En gros c'est l'équivalent de ActiveMQ, mais dans le monde du Big Data. Il arrive à traiter une grande quantité de messages car il peut être déployé en cluster, et est donc très scalable.
Kafka Streams est une librairie permettant de mettre en œuvre des transformations sur les données contenues dans les messages.
C'est très bien décrit dans cet article : https://blog.octo.com/kafka-streams-...am-processing/
D'ici à dire que ce type d'outil va remplacer les ETL...
C'est un peu comme si on disait que les Datawarehouses vont disparaître à cause des Datalakes...
Nicolas
Vous avez un bloqueur de publicités installé.
Le Club Developpez.com n'affiche que des publicités IT, discrètes et non intrusives.
Afin que nous puissions continuer à vous fournir gratuitement du contenu de qualité, merci de nous soutenir en désactivant votre bloqueur de publicités sur Developpez.com.
Partager