Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

  1. #1
    Membre éprouvé Avatar de noOneIsInnocent
    Homme Profil pro
    Inscrit en
    mai 2002
    Messages
    1 037
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Ille et Vilaine (Bretagne)

    Informations professionnelles :
    Secteur : High Tech - Multimédia et Internet

    Informations forums :
    Inscription : mai 2002
    Messages : 1 037
    Points : 1 230
    Points
    1 230

    Par défaut Performance et volumétrie

    Bonjour,

    je suis en période d'étude d'un projet et le choix tend vers l'intégration d'un ETL. Après plusieurs recherches en fonction de mes besoins fonctionnels j'hésite entre Talend et Pentaho.
    Ma problématique est de savoir si il est possible avec Talend de récupérer sur un serveur distant plusieurs milliers fichiers CSV à la seconde et de les traiter pour les insérer en base de données.


    Est-ce que vous avez des retours d’expérience de ce genre de process ?
    merci d'avance

    N.B. i) Les lignes des fichiers CSV ne contiennent pas plus de 10 champs et les fichiers ne font pas plus 500 ko
    ii) même si ce n'est pas le bon forum est-ce quelqu'un a déjà eu la même problématique avec Pentaho ?

  2. #2
    Membre à l'essai
    Homme Profil pro
    Inscrit en
    janvier 2014
    Messages
    19
    Détails du profil
    Informations personnelles :
    Sexe : Homme

    Informations forums :
    Inscription : janvier 2014
    Messages : 19
    Points : 14
    Points
    14

    Par défaut

    Bonjour,
    Sur Talend depuis 3/4 mois, je traite des fichiers plats en entrée avec insertion dans une table MySQL. J'arrive à traiter 2Go/2.5Go de données en 45 minutes. J'ai opté pour le composant bulk (load) sinon cela devient trop long. L'inconvenient avec ce composant, c'est que je n'ai pas la gestion des rejets.
    Attention, plus il y a de modification sur les champs dans le tmap plus le temps de traitement s'allonge.

    Aucune experience avec pentaho.

    Cordialement.

  3. #3
    Membre éprouvé Avatar de noOneIsInnocent
    Homme Profil pro
    Inscrit en
    mai 2002
    Messages
    1 037
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Ille et Vilaine (Bretagne)

    Informations professionnelles :
    Secteur : High Tech - Multimédia et Internet

    Informations forums :
    Inscription : mai 2002
    Messages : 1 037
    Points : 1 230
    Points
    1 230

    Par défaut

    Merci pour ton retour
    J'ai fais un test d'import d'un fichier CSV vers une base de données et j'ai trouvé le temps de traitements impressionnant
    Je dois traiter environ 20 000 lignes de fichier CSV par minutes et le temps de traitement du job était de 2 secondes sur mon poste de travail
    J'ai mis 15 minutes pour designer le job
    Je trouve que la prise en main est facile
    je dois encore faire quelques test de génération de jar
    merci encore

Discussions similaires

  1. [2008] Volumétrie et Tests de Performance
    Par Loris_A dans le forum Administration
    Réponses: 11
    Dernier message: 25/04/2014, 10h55
  2. Réponses: 10
    Dernier message: 18/01/2013, 14h44
  3. [sunopsis v3/v4] volumétrie / performance
    Par gnarfon dans le forum ODI (ex-Sunopsis)
    Réponses: 2
    Dernier message: 20/03/2008, 16h17
  4. [JDBC][connexion persistante] performances avec JDBC
    Par nawac dans le forum Connexion aux bases de données
    Réponses: 6
    Dernier message: 06/05/2003, 10h37
  5. performance entre 3DS, ase, asc ...
    Par amaury pouly dans le forum OpenGL
    Réponses: 3
    Dernier message: 24/03/2003, 11h41

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo