Discussion :

[phiibuntu]

bonjour à tous et meilleurs voeux 2019 à vous

comme vous m'avez gentillement (et efficacement) répondu je risque d'abuser encore de vos bontés car comme vous le savez après un problème, un problème, c'est bien le soucis avec un newbie motivé

donc en résumé :
un job (screenshot ci dessous) qui renomme à la volée des fichiers et qui copie le résultat dans des répertoires renommés à la vole aussi avec l'ID du nom d'origine des fichiers. jusque là grâce à vous nickel.

à cela j'ajoute un tadvancedfileoutputxml pour écrire un xml nommé comme les fichiers renommés pas le tfilecopy_1 dans le répertoire (nommé avec l'ID du fichier d'origine). et la tout fonctionne sauf que...à l'intérieur du fichier xml bien nommé et placé au bon endrooit les données ne correspondent pas ID et nom de fichier différents ....
j'espère avoir été clair...et le screen devrait aider j'espere...



bon zéro row comprends pas pourquoi mais ça marche nickel, sauf à l'intérieur des xml...

ça aussi pourrait aider :



pour le Tmap la jointure est identique pour tfilecopy et tadvancedfileoutputxml donc je m'attendais naivement à obtenir les même résultats (ce qui est vrai sur le nom des fichier et le répertoire où ils vont...seul le contenu des xml est complètement erroné.

Merci d'avance?

[Netsoro]

Bonjour phiibuntu et Bonne année 2019 à toi aussi,

J'aime bien répondre si je sens que la personne à qui je réponds fait un peu d'effort pour comprendre, il donne des exemples de ce qu'il a comme donnée ou problème et de ce qu'il attends comme résultat, je me dis que l'intéressé à commencer un début de réflexion. c'es n'est pas du genre je vous dépose ça ici et démerder vous avec. Généralement si le problème est bien posé, on a toujours une solution. On a tous été à un moment donné Newbie sur une techno, on ne peut pas être débutant sur une et tout comprendre tout de suite, c'est petit à petit, en faisant des erreurs de débutant qu'on peut savoir comment faire. Ceci étant dit revenons sur ton problème .

Je vois quelques étrangetés sur ton job, notamment le cercle jaune :



Ce que j'ai encerclé est sensé faire quoi ?

Quand on débute, on a souvent envie de faire tous son traitement dans un seul job, on peut finir avec un gros job, parfois illisible, c'est n'est pas une bonne pratique. Il faut penser modularité , job Master et sous job.

Pour moi un modèle qui marche bien quand on veut créer plusieurs fichiers depuis un flux de données, c'est de faire un Job Master qu'on peut aussi appelé Job père, qui lit les données par identifiant et un job fils qui les écrits dans ton le fichier xml correspondant a l'ID.

bon zéro row comprends pas pourquoi mais ça marche nickel, sauf à l'intérieur des xml...

C'est peut être dû à la manière dont tu paramètres ton tMap, on voit déjà que zero lignes ne viennent de ta relation principale => Donc tu ne vas pas avoir des miracles en sortie .

Le tFixedFlowInput permet de générer des données fixes. je ne vois pas pourquoi tu utilises un tFileList pour lire les fichiers d'un dossier et lui donner un tFixedFlowInput à la place d'un composant qui permet de lire le fichier courant du tFileList !!

Explicites ce que tu veux et donne quelques données de testes et ce tu veux en sortie, tu aura une aide plus pertinente je pense.

[phiibuntu]

ok je vais essayé de faire simple :

dans un répertoire j'ai des fichiers dont le nom est un id qui provient d'un crm sous mysql.

je souhaite :
copier et renommer ses fichiers avec le nom de fichier (trouver grâce au filename qui est un id avec inner join ça marchait bien ça dans mon job).
comme parfois le nom de fichier est identique le tfilecopy crée avant de copier un sous répertoire du répertoire de destination nommé avec l'ID (donc unique).
enfin je souhaite créer dans ces sous répertoires un fichier nommer nomdufichier.xml contenant des métadonnées provenant de l base mysql en lien avec le fichier copier et renommé. typde de doc date etc.

exemple :
le fichier d'origine nom de fichier : 98898fr98r89989
copié depuis le répertoire d'origine dans un répertoire "98898fr98r89989" et renommé en pv_recette.pdf avec un fichier xml pv_recette.pdf.xml contenant des infos comme type de document, id de revision, etc. etc. (prevenant de la meme base mysql qu l'id cité).

Voilà j'espère que c'est plus clair.

Pour le row 0 si je vire le tfilecopy pour un fileoutputexcel j'ai un bon nombre de row (donc sauf erreur le tmap est ok).

Et merci pour les conseils je suis preneur

Ah et le tFixedFlowinput c'est parceque je ne peux pas lier mon tfilelist au tmap.
et quand j'ai testé avec un Titeratetoflow le tfilecopy ne me copiait qu'un seul fichier et le job plantait.

[Netsoro]

Donc si j'ai bien compris, tu as un repertoire contenant plusieurs fichiers pdf, et par rapport au nom des fichiers pdf de ton repertoire tu veux récupérer des infos dans une base de donnée Mysql, puis renommer tes fichiers pdf et créer un fichier xml contentant les infos provenant de ta BD.

Ainsi, dans chaque dossier tu as le fichier pdf d'origine et le fichier xml contenant des infos sur le fichier pdf ?

Exemple :

Repertoire R :
98898fr98r89989.pdf
98898fr98r89988.pdf
98898fr98r89987.pdf


En sortie :

Repertoire 98898fr98r89989 :
98898fr98r89989_renomme.pdf
98898fr98r89989.pdf.xml

Repertoire 98898fr98r89988 :
98898fr98r89988_renomme.pdf
98898fr98r89988.pdf.xml

Repertoire 98898fr98r89987 :
98898fr98r89987_renomme.pdf
98898fr98r89987.pdf.xml


C'est ça ?

[phiibuntu]

presque
les fichiers d'origines n'ont pas d'extension c'est vraiment l'ID.


répertoire origine :
id1
id2
id3
id4

répertoire résultat :
sous-répertoire : id1
fichier id1 renommé : pv-recette.pdf
pv-recette.pdf.xml

sous-répertoire : id2
fichier id2 renommé : compte-rendu.pdf
compte-rendu.pdf.xml

etc.

[Netsoro]

Tes fichiers :

id1
id2
id3
id4


C'est des fichiers pdf,excel,csv,txt ?

[phiibuntu]

oui c'est ça.

et c'est l'id du document dans la base mysql avec lequel je fais la jointure pour retrouver le noim de fichier (.pdf ?xls .txt etc etc).

mon job fonctionne pour la partie copie renommage
si il y a une meilleure méthode (vu le 0 row) je suis bien sur preneur, ce qui me pose problème c'est le fichier xml qui me donne le bon nom de fichier, dans le bon sous répertoire mais avec des données éronnée (id nom de fichier) completmeent faux dedans....

[Netsoro]

oui c'est ça.

Tu n'as pas répondu à ma question , donc ton dossier sources contient des fichiers de plusieurs types (.pdf,xls .txt etc etc) c'est ça ?

Je pense que tout est lié.

[phiibuntu]

"oui c'est ça" plusieurs type de documents des fichier pdf des fichier excel des .doc des .txt etc.

[Netsoro]

Ok ça marche, si c'est bien l'exemple fournit ci-dessous,comme je l'ai compris, je prendrai le temps de faire ça tout à l'heure, partager des données en plusieurs flux xml par exemple est une question à laquelle j'ai répondu plusieurs ici https://www.developpez.net/forums/d1888880/logiciels/solutions-d-entreprise/business-intelligence/talend/developpement-jobs/split-d-fichier-xml/#post10446290, j'en ferai un petit billet de blog sur la manière dont je le ferai. comme ça d'autres personnes peuvent en bénéficier.

[Netsoro]

Théoriquement voici comment je compte faire ça :

[phiibuntu]

le soucis que je rencontre avec titeratetoflow c'est que le job semble fonctionner, il copie et renomme le bon nombre de fichier.
Sauf qu'il copie le premier qu'il renomme autant de fois que nécessaire avec les bon noms, mais tous les fichier font la meme taille et quand je les ouvre c'est le même fichier recopier et renommé autant de fois que la jointure lui demande.

d'ou l'utilisation de tfixedflowinput

[Netsoro]

Certainement c'est parce que tu ne l'utilises pas de la bonne manière .

[phiibuntu]

c'est malheureusement bien possible. (meme si j'ai à peu près testé toutes les variable possible du tfilelist)

[Netsoro]

Contexte :

On a plusieurs types de fichiers dans un dossier telle que :



On veut pour chacun de ces fichiers créer un dossier contenant le fichier d'origine renommé et un fichier xml contenant des informations de détails du fichier, provenant d'une base de données.





voici une manière simple de faire ça :

Job Master :



On déclare des variables de contextes, on a le repertoire contenant les fichiers sources, la destination du grand repertoire contenant les sous repertoires, une variable contenant le fichier courant.



Config tFileList :



Config tIterateToFlow :



Config tMap :

Un config classic pour le tMap avec un InnerJoin, il permettra ainsi de récuperer pour chaque fichier dont le nom constitue l'identifiant les infos de détails souhaitées.



Avec un split on récupère le nom du fichier en se passant de son extension dont on a pas besoin ici, par contre on voudrait cette extension pour reconstitué le type du fichier dans le tFileCopy.
D'où le fait de le garder dans le tIterateToFlow.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

row1.FILENAME.split("."+row1.EXTENSION ) [0]

le tReplicate nous permet ici d'envoyer les flux dans les 2 branches nous permettant de copier le fichier et de créer le fichier infos dans le xml.



Enfin, le tRunJob permettant de créer pour chaque fichier source le fichier xml correspondant avec les bonnes infos récupérées dans la jointure du tMap.

Config tRunJob :



Le sousJob ou job fils ne fait qu'écrire les détails reçus dans un fichier xml qui est créer s'il n'existe => aussi simple que ça




Code tJava :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
row1.nom = context.nom;
row1.type_document = context.type_document;
row1.id_revision = context.id_revision;
row1.desc = context.desc;

Config tFileOutputXml :




Voilà, à chaque exécution tu auras dans le dossier correspondant le fichier renommé et le fichier xml correspondant :

Par exemple :



NB : Tous les types de fichiers d'un identifiant donné vont aller dans le même dossier, celui correspondant au nom du fichier.

[phiibuntu]

euh ben dis donc ....merci que dire d'autre

je vois mieux où je me plantais sur le titeratetoflow je ne mettais que le filename sans doute pour ça qu'il ne me prenais que le premier fichier!
bon je vais reproduire et approfondir mes connaissances

Encore merci, jmets mon poste en résolu, là si je n'y arrive pas cela ne pourra pas venir de Talend....hum.

EDIT :

Bon je suis e décidément perdu pour Talend même résultat avec le Titeratetoflow tous les fichiers copier dans les répertoires de destination sont bien nommés mais pèsent le même poids et sont le même fichier. Il est le premier du tri du Tfilelist

si je tri dans ce composant par taille c'est le plsu gros fichier qui est renommé avec la jointure, les noms et répertoire de destination sont bon mais le contenu est mauvais.
j'ai copié ce que j'ai vu à l'écran même comme ça je n'y arrive pas ça doit venir de moi. lol
merci pour le coup de main je vais chercher une autre solution à mon problème le titeratetoflow ne copie pas correctement les fichiers (j'ai essayé avec Talend 6.5 et 7 même comportement). La copie et renommage semble ok mais en fait c'est le premier fichier du tri qui est pri pour la jointure.

Merci pour le coup de main !

[Netsoro]

Bonjour phiibuntu,

Je ne penses pas que ton problème vient du tIterateToFlow, tu peux exécuter ton Job et laissé les stats en vert dessus et nous poster une capture de Job exécuté ainsi que le config de ton tMap ?

comme ce que j'ai fais en bas :




config tMap :




Ps : Réorganise bien ton Job afin de poster quelques choses de facilement lisible

[phiibuntu]

et



voila. 228 fichier dans le répertoire d'origine, 129 à renommer (ce qui est normal certain fichier ne réponde pas à la jointure car d'un autre type donc c'est ok la différence).

et résultat dans les répertoires destination des fichier avec les bons noms de fichier en lien avec les bons ID sauf que c'est le premier fichier du tri du tfilelist).

[Netsoro]

Je ne vois pas le tri dont tu parles, par contre on n'est bon pour le copy du fichier.

Peut être que tu ne le donne pas le bon nom du dossier dans lequel il doit écrire, si le le chemin du dossier ne correspond pas ou que c'est un seul chemin tu lui donnes, en sortie tu n'auras qu'un seul fichier, car il va systématiquement l'écrasé.

Dans le config de mon tMap j'utilise l'expressioon ci-dessous :

La jointure doit se faire entre l'identifiant venant de ta BD et l'identifiant que tu récupères dans le nom du fichier, le nom du fichier contient une extension en (.csv,.pdf,.xml.doc etc...), c'est l'expression ci-dessous qui nous permet de récupérer l'identifiant dans le nom du fichier.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

row1.FILENAME.split("."+row1.EXTENSION ) [0]

Cette expression est importante, car elle permet de récupérer l'identifiant, j'imagine que dans ta base de données les identifiants ne contiennent pas le type des documents.



NB : même si dans ton dossier tu ne vois les extensions des documents cela ne veut pas dire qu'ils n'ont pas d'extension.


Après avoir pris en compte la remarque ci-dessous si tu as toujours le même problème, affiche le config de ton tRunJob, du tFileOutputXML et du tIterateToFlow.

[phiibuntu]

pourtant je suis sous linux, donc l'extension je ne la vois pas car il n'y en as pas (contrairement à Windows).

je ne parviens pas à comprendre pourquoi avec le tfixedflowinput à la place du titeratetoflow cela fonctionne bien avec la même jointure dans le tmap.

Le tri est dans le composant tfilelist on peut trier par taille par nom de fichier etc. si je modifie le composant le fichier renommé change mais il n'y en a toujours qu'un qui est copié et renommé autant de fois que de résultat de la jointure.