Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter
Le fichier: http://s3.amazonaws.com/kettle3/biginputfile.txt.gz
La machine: Laptop Dell Precsision M65 : 2x2.33Ghz, DD = 80Gb/7200, 3GB RAM
Les transformations/modèlles sont trés simples, la description et les paramètres sont dans le PDF.
Le message est clair: les outils ETL open source ont bien évolués :-)
Matt
MattCasters, je viens de réaliser des benchs sur le fichier biginputfile.txt que tu nous fournis. Il s'agit donc d'un fichier de 1,000,001 lignes (1 ligne de header) qui pèse 86 MB. Pour bob23 qui demandait justement ce que ça donnait avec le tExternalSortRow, et bien je réponds: bof. "bof" parce que trier 1 million de lignes, ça ne nécessite pas de passer par une commande externe. J'obtiens de meilleurs résultats avec tSortRow.
(TOS = Talend Open Studio)
GNU sort hors TOS : 39s, 100MB en mémoire
tFID, tExternalSortRow, tFOD (Perl) : 60s, 100MB en mémoire
tFID, tSortRow, tFOD (Perl) : 25s, 550MB en mémoire
tFID, tSortRow, tFOD (Java) : 22s, 720MB en mémoire
Software: TOS 2.2.1, Java 1.6.0_03, Linux 2.6.22, Perl 5.8.8, GNU Sort 5.97.
Hardware: Core2Duo T7100@1.80GHz, 2GB, hdparm me dit que mon disque fait du 40MB/s
Le problème de tri commence vraiment à se poser avec des volumes de données plus importants (plusieurs dizaines de millions de ligne). Dans TOS, c'est lorsque Perl ou Java commence à utiliser le swap que les performances s'écroulent et que tExternalSortRow devient pertinent.
MattCasters, si tu multiplies le nombre de lignes par 10, je pense que les benchs seraient bien différents (je ne parle pas de TOS Vs PDI, mais de tSortRow Vs tExternalSortRow). Donc si tu fabriques le fichier, je publierai volontiers mes résultats :-)
En fait, la il-y a un problèm.
J'ai des fichiers sur mon disque dûr de >1GB. (10 et 25M lignes).
Parcontre, c'est past évident de places ces fichier sur internet. :-)
La solution pour si tu veut génerer un fichier tois-même: http://kettle.pentaho.org/svn/Kettle...ata-generator/
Mais, J'ai fait des testes en single node (1CPU) avec TOS 2.2.0 et PDI-3 et pour l'instant je crois que TOS/Gnu Sort tourne (~) 20% plus vite. J'ai pas encore fait des testes en tournant en parallel.
Je crois la difference est dans l'itulisation de mémoire. A suivre... :-)
Comparatif ETL
le monde du décisionnel est en train de bouger et les récentes acquisitions confirment que l'indépendance des petits éditeurs peut varier.
Néanmoins, l'un des aspects crucial lors du choix de votre ETL est la simplicité d'utilisation, et dans ce domaine là les logiciels libres sont VRAIMENT à la traine et que open source ne signifie jamais vraiment gratuit.
Je vous recommande l'ETL Data Intelligence (éditeur Oxio) qui constitue l'offre actuelle la plus pertinente en termes de tarification, de simplicité d'utilisation et de richesse de fonctionnalités.
Bonjour Oxio38,Envoyé par Oxio38
Il existe des ETL Open Source qui permettent de faire des transformations via des drag&drop, de l'automapping, de la (retro)propagation automatique, des représentations graphiques, des debuggeurs fonctionnels et visuels... tout ce qui faut pour que cela soit très simple!!
C'est fini le temps ou OpenSource = barbus aux cheveux long devant des écrans noirs qui réalisent des logiciels destinés à d'autres barbus
L'ouverture du code est juste une autre philosophie, un autre modèle économique, de nouvelles possibilités pour les utilisateurs...
Cédric Carbone, Talend CTO
Blog sur Talend, la Business Intelligence et l'intégration de données | Télécharger Talend Open Studio 3.2 / TOP 3.2
Le forum Talend francophone | anglophone
Actu : Offre d'emploi Consultants Talend |
Tu as la réponse à ta question ? Clique suren bas à gauche de ton message
ETL gratuit pour fichiers .cvs (.txt)
Bonjour,
Je trouve cette discussion passionnante, notamment les mesures de performance des différents outils d'ETL.
Je me permets de vous faire part d'un outil d'ETL gratuit que j'ai réalisé, qui permet de filtrer, modifier, combiner, des données puis de les charger dans une base de données Postgresql.
Loin d'atteindre les performances et les capacités des outils mentionnés ici, cet outil peut modestement répondre à certains usages.
La première version est disponible pour les plus curieux sur www.benetl.net.
Cordialement,
Je rajoute ma pierre à l'édifice.
J'ai recherché un outil open source pour charger un entrepôt.
J'ai tester Talend et kettle mais je n'ai pas trouvé leur prise en main très facile (voire même plutôt difficile).
Ca parait simple sur un exemple mais dès que j'ai voulu faire quelque chose de "productible" je n'y suis pas parvenu.
Je me suis retourné vers Scriptella qui permet d'écrire des scripts de migration très facilement. Il n'y a pas d'IHM (ca peut déplaire) mais pour un développeur c'est très accessible et très intégrable (au moins en java).
Par contre, je n'ai pas d'idée sur les perfs...
G.
Hello,
je mentionne deux ETL que je trouve plutôt bien:
- SSIS, qui est disponible gratuitement lorsque vous avez SQL Server 2005
- ActiveWarehouse-ETL avec lequel j'ai vraiment bien aimé travailler (j'ai soumis quelques patches pour le faire évoluer)
Pour ActiveWarehouse, vous pouvez retrouver la doc sur http://activewarehouse.rubyforge.org...house-etl.html - c'est totalement en "code" et en ruby, le concept est intéressant d'une part et c'est très pratique et personnalisable d'autre part.
SSIS est graphique, plutôt performant et simple d'emploi lors du dév. Par contre le déploiement peut être compliqué car extraire la partie configurable n'est pas aisé (il y a des articles entiers sur le sujet).
voilà j'espère que ça donnera des éléments à certains.
Thibaut Barrère / LoGeek
--
http://blog.logeek.fr - about writing software
http://evolvingworker.com - tools for a better day
Bonjour,
Avez vous essayé avec des versions plus récentes ( 2.2, 2.3 ) : des améliorations significatives de performance ont été obtenues sur ce type de traitement.
Bien cordialement
Bonjour,
Merci à MattCasters pour le test de comparaison d'ETL et la fourniture du jeu de tests.
Cela a orienté les nouveautés intégrées à Benetl 1.4.
Le test 4 (page 17 figure 18) a été réussi par Benetl 1.4.
Cordialement,
Il-y a 7 ans, quand j'avais commencé a écrire Kettle, beaucoup de gens me disait que c'etait stupide, inutil, une perte de temps, etc. J'ai jamais écouté ces personnes, et je suis trés content que maintenant il-y a encore des dévélopeurs ETL (comme Benetl2008 notemment) qui ont le courage de fair pareillement.
Matt
E-LT performant
Côté E-LT , il y a aussi Stambia , très complet et très performant
Vous avez un bloqueur de publicités installé.
Le Club Developpez.com n'affiche que des publicités IT, discrètes et non intrusives.
Afin que nous puissions continuer à vous fournir gratuitement du contenu de qualité, merci de nous soutenir en désactivant votre bloqueur de publicités sur Developpez.com.
Répondre avec citation
Partager