Discussion :

[noOneIsInnocent]

Bonjour,

je suis en période d'étude d'un projet et le choix tend vers l'intégration d'un ETL. Après plusieurs recherches en fonction de mes besoins fonctionnels j'hésite entre Talend et Pentaho.
Ma problématique est de savoir si il est possible avec Talend de récupérer sur un serveur distant plusieurs milliers fichiers CSV à la seconde et de les traiter pour les insérer en base de données.


Est-ce que vous avez des retours d’expérience de ce genre de process ?
merci d'avance

N.B. i) Les lignes des fichiers CSV ne contiennent pas plus de 10 champs et les fichiers ne font pas plus 500 ko
ii) même si ce n'est pas le bon forum est-ce quelqu'un a déjà eu la même problématique avec Pentaho ?

[fredlaciotat]

Bonjour,
Sur Talend depuis 3/4 mois, je traite des fichiers plats en entrée avec insertion dans une table MySQL. J'arrive à traiter 2Go/2.5Go de données en 45 minutes. J'ai opté pour le composant bulk (load) sinon cela devient trop long. L'inconvenient avec ce composant, c'est que je n'ai pas la gestion des rejets.
Attention, plus il y a de modification sur les champs dans le tmap plus le temps de traitement s'allonge.

Aucune experience avec pentaho.

Cordialement.

[noOneIsInnocent]

Merci pour ton retour
J'ai fais un test d'import d'un fichier CSV vers une base de données et j'ai trouvé le temps de traitements impressionnant
Je dois traiter environ 20 000 lignes de fichier CSV par minutes et le temps de traitement du job était de 2 secondes sur mon poste de travail
J'ai mis 15 minutes pour designer le job
Je trouve que la prise en main est facile
je dois encore faire quelques test de génération de jar
merci encore