Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Exécution et industrialisation Discussion :

Performance et volumétrie


Sujet :

Exécution et industrialisation

  1. #1
    Membre éprouvé
    Performance et volumétrie
    Bonjour,

    je suis en période d'étude d'un projet et le choix tend vers l'intégration d'un ETL. Après plusieurs recherches en fonction de mes besoins fonctionnels j'hésite entre Talend et Pentaho.
    Ma problématique est de savoir si il est possible avec Talend de récupérer sur un serveur distant plusieurs milliers fichiers CSV à la seconde et de les traiter pour les insérer en base de données.


    Est-ce que vous avez des retours d’expérience de ce genre de process ?
    merci d'avance

    N.B. i) Les lignes des fichiers CSV ne contiennent pas plus de 10 champs et les fichiers ne font pas plus 500 ko
    ii) même si ce n'est pas le bon forum est-ce quelqu'un a déjà eu la même problématique avec Pentaho ?

  2. #2
    Membre à l'essai
    Bonjour,
    Sur Talend depuis 3/4 mois, je traite des fichiers plats en entrée avec insertion dans une table MySQL. J'arrive à traiter 2Go/2.5Go de données en 45 minutes. J'ai opté pour le composant bulk (load) sinon cela devient trop long. L'inconvenient avec ce composant, c'est que je n'ai pas la gestion des rejets.
    Attention, plus il y a de modification sur les champs dans le tmap plus le temps de traitement s'allonge.

    Aucune experience avec pentaho.

    Cordialement.

  3. #3
    Membre éprouvé
    Merci pour ton retour
    J'ai fais un test d'import d'un fichier CSV vers une base de données et j'ai trouvé le temps de traitements impressionnant
    Je dois traiter environ 20 000 lignes de fichier CSV par minutes et le temps de traitement du job était de 2 secondes sur mon poste de travail
    J'ai mis 15 minutes pour designer le job
    Je trouve que la prise en main est facile
    je dois encore faire quelques test de génération de jar
    merci encore