Discussion :

[nice-one]

Bonjour,

est ce que c'est possible de traiter des fichier avec des millions de lignes avec talend ?
j'ai essayé avec un échantillon de 2000 ligne avec un simple maping et talend commence à m'afficher (Ne répond pas)

Sinon c'est quoi la solution si on doit traiter des données avec une telle quantité?

Merci de m’éclairer et bonne journée à tous

[emenuet]

Bonjour,

Cela dépend des composants que tu utilises et de la manière de les utiliser.

Si 2000 lignes posent des problèmes cela vient soit de ta configuration soit de ton job.
Si tu peux faire un screenshot de ton job et l'uploader cela sera plus facile pour répondre.

[nice-one]

Bonjour,

Si tu peux faire un screenshot de ton job et l'uploader cela sera plus facile pour répondre.

Merci bcp pour votre réponse voila un screenshot de mon job

je dois faire ultérieurement des traitements sur les données filtrées pour les enrichir à partir d'un référentiel donc cette capture concerne seulement le début du traitement.
et c'est pour un échantillon de données mais les fichiers réels contiennent des millions de lignes

[emenuet]

Bonjour,

Tu utilises le tLogRow qui est un composant de développement. Il n'est pas performant. Utilise le avec seulement 100 enregistrements au maximun dans le studio uniquement. Il ne sert qu'a la mise au point du job.

utilise a la place un tjavaRow a la fin de ton traitement si tu as plus d'enregistrement. Le tJavaRow ne sert a rien et ne fera rien mais te permettra de tester ton job avec autant d’enregistrement que tu veux.

En résumer : n'utilise pas le tLogRow si tu as beaucoup d'enregistrement.