Discussion :

[yoann34]

Bonjour,

Depuis hier, je cherche une solution pour concaténer des fichiers selon leur nombre de lignes.

J'ai un dossier contenant n fichiers générés via talend. Chacun des fichiers a un nombre de lignes différent inférieur à 999.
Étant donné que j’obtiens trop de fichiers (je ne peux pas faire autrement, car il s'agit d'une règle définie par le client), il me faut maintenant concaténer ces fichiers afin d'obtenir moins de fichiers et dont le nombre de lignes ne dépasse pas les 998.
La seconde contrainte est que lors de la concaténation, il me faut impérativement mettre la totalité du contenu des fichiers que je doit ajouter.

Par exemple, j'ai un fichier avec 720 linges, un autre avec 400 lignes et un dernier de 200 lignes.
Je ne peux pas prendre une partie des 400 lignes pour l’ajouter aux 720 du premier fichier. Par contre, je peux ajouter les 200 lignes du troisième fichier aux 720 existants pour faire un fichier de 920 lignes.

J'ai actuellement plus de 40 fichiers qui varient de 40 à 800 lignes. Je ne sais pas du tout comment m'y prendre pour résoudre ce problème avec Talend.

Si quelqu'un avait une idée ?
Merci par avance.

[emenuet]

Bonjour,

1) la concaténation de fichier dans Talend

On est obligé de lire un fichier a concaténer et de l’écrire a la fin du fichier de départ ( il y a une option écrire après sur les composant output )


2) le choix des fichiers a concaténer.
C'est pas Talend qui va t'aider. C'est a toi de développer ton algo pour la création de groupe de fichier.

Il y a un composant Talend qui donne le nombre de ligne pour un fichier.

[yoann34]

Bonjour emenuet,

Désolé de répondre si tardivement et merci.

Effectivement, je connais déjà les connecteurs que tu m'as indiqués et comme tu me l'as dit, il me fallait développer une routine pour gérer cette problématique.
Pour résoudre mon problème, j'ai donc utilisé 2 contextes contenant tous deux une chaine de caractères. Le 1er contient les chemins des fichiers séparés par "@@" comme séparateur de chaine et le second contient le nombre de lignes aussi séparé par "@@" afin de pouvoir les transférer dans une routine.
J'ai pu ainsi récupérer 2 tableaux contenant donc les chemins des fichiers et le nombre de lignes pour chacun des fichiers.
À partir de ces 2 tableaux, j'ai donc concaténé directement les fichiers en JAVA.
Je suis ainsi passé de 41 fichiers à 5 contenant chacun moins de 998 lignes comme je le voulais.

Si quelqu'un a besoin du code, je le mettrais en ligne.

Le problème est résolu. Merci encore.