Gestion des erreurs - Talend - Comment faire ?

[siapower]

Bonjour,

Je débute dans la conception de jobs sous Talend et je me demandais quels composants devrais-je utiliser afin d'obtenir une meilleure idée des problèmes se produisant au niveau de mon ETL.
Essentiellement, je voudrais connaître seulement l'heure d'exécution, le nom du job, le nom du fichier traité, le statut (ex.: réussi ou échec), et p-ê le type d'erreur si applicable.

J'ai ainsi un job 'parent' qui orchestre l'exécution des jobs séquentiellement afin de charger les dimensions, puis ensuite les faits dans ma base de données.

Les jobs comportent pour la plupart un composant tfilelist en entrée qui va filtrer les fichiers correspondant à traiter, suivi de plusieurs tMap, puis se termine par un composant qui charge dans ma base de données.

Ainsi quels composants devrais-je privilégier afin de satisfaire le besoin décrit précédemment, et à quel endroit doive-t-il se trouver, au sein du job 'parent' au sein des jobs 'enfant'?

Je suis aussi ouvert à d'autres suggestions de votre part, ayant peu d'expérience, qui pourrait faire mieux que ce que j'ai décrit au niveau de mon besoin.

[DevNico]

Bonjour,

Globalement, j'utilise le composant tStatCatcher dans chacun de mes jobs afin de récupérer les informations dont tu parles.
Tu peux ensuite envoyer ça dans un fichier ou dans une table.

Ensuite, je redirige les sorties standard et erreur de mes traitements dans 2 fichiers distincts. Cela permet d'avoir des logs d'exécution ainsi que les messages d'erreur en cas de plantage.

Nicolas

[siapower]

Merci de ton aide Nico,

Dois-je utiliser le composant tStatCatcher à l'aide des déclencheurs 'On Subjob Ok', 'On Subjob error' et dois-je le connecter directement au dernier composant de mon job qui se trouve être celui qui charge les données dans ma base de données?

[DevNico]

Non.
Le tStatCatcher doit être utilisé dans un sousjob complètement indépendant.
Il se déclenche 2 fois : en tout début de job, et en toute fin de job.
Il génère donc 2 lignes, une de début et une de fin.

Nicolas

[siapower]

Cela fonctionne effectivement pour indiquer le début et la fin du job.
J'ai essayé le composant tlogcatcher qui me retourne les mêmes résultats que le tStatcatcher.

Je me demande ce que je dois ajouter afin d'avoir un statut pour chacun des fichiers traités par le tFilelist.