Discussion :

[atb]

Bonjours à tous,

Je voudrais savoir s'il est possible de créer une transaction et faire un commit à la fin de tous les jobs. Je veux le scénario suivant:

1- Ouvrir une connexion vers une base oracle
2- Lancer job 1 (mise à jour d'une dizaine de table)
2- Lancer job 2 (mise à jour de quelques tables)
3- Lancer job 3 (lancer les procédures de vérification de la cohérence des données "des select, updates,...)
4- Si pas d'erreur commit général sinon un rollback général.


Merci d'avance.

[TeamArkadia]

Bonjour,

Malheureusement non tu ne peux pas ouvrir de connexion, puis orchestrer tes jobs, et fermer la connexion dans un job Sequencer...

Dans la société pour laquelle je travaille, nous avons remonté ce besoin à Talend, qui a émis la possibilité de mettre à disposition cette fonctionnalité dans une version ultérieure, mais rien de précis pour le moment...

[atb]

Merci TeamArkadia pour ta réponse, mais j'ai trouvé une solution sur Talend 3.1.3

Il faut :
Dans le job père ajouter un composant TOracleConnection, fournir toutes les informations pour se connecter et cochée la case « Use Shared connection » en fournissant un nom entouré avec des quottes.
A la fin du traitement rajouter un tOracleCommit et tOracleRollback si erreur.

Dans le job fils rajouter un composant TOracleConnection, cocher seulement l’option shared connection et donner le même nom avec des quottes toujours et surtout ne pas oublier de d'utiliser la connexion existante !

Voici deux capture d'écran, la premiére pour le job père et la seconde pour le fils.


Bonne continuation à tous

[TeamArkadia]

Merci à toi atb !
Je vais regarder de mon côté pour voir si ça correspond à mon besoin, parce que ça pourrait me simplifier la vie dans certains cas !

A+

[TeamArkadia]

J'ai fait le test de mon côté, c'est exactement ce que je voulais faire !
Merci atb, ça va simplifier par mal de mes DEVs ce petit truc !

[atb]

Oué

Sauf que je suis entrain de testé sur mon projet et là : -->

Il faut mettre le composant tOracleConnexion en premier ensuite les autres composants Input et Output sinon il me sort une erreur java null pointer.

Et là, j'ai un souci avec les composants output oracle -> erreur table ou vue inexistante.

Donc prudence, car à mon avis c’est pas encore stable …

Bon courage.

[TeamArkadia]

Ah... Pour le moment, je n'ai personnellement rencontré aucun problème sur tous les tests que j'ai fait.
Je n'ai pas encore tout à fait fini, mais je vais quand même faire attention à ce que tu viens de me remonter.

[atb]

Bon, je ne sais pas si c’est mon cerveau qui a planté mais :

J’avais un problème avec les tOracleOutput en utilisant les tOracleConnection. En gros :

Job fils
tOracleconnection -> tOracleInput -> tOracleOutput

Job Pére tOracleConnection -> Job fils -> tOracleCommit si pas d’erreur.

Sauf que le tOracleOutput rejetait toutes les lignes et j’avais l’erreur oracle « table ou vue inexistante », ce qui me ramène sur la piste du tOracleconnection du job fils.
Je mets le type de propriété de ce dernier en [référentiel] ensuite sur [intégré] je décoche l’option [use shared connection] et je la re-coche. Et là aucun souci, j’arrive à insérer mes données correctement au niveau de la base.

Au passage,
Je tiens à signaler que l’événement OnSubjobError ne remonte pas d’erreur si un tOracleOutput rejette des lignes parce que la table n’existe pas, données trop grandes,…

Deux solutions, soit :
Gérer les lignes rejetées et les stockées dans des fichiers textes par exemple. (attention à la gestion du commit et rollback)
Cocher [Die on error] du composant ce qui va être remonté jusqu’à l’événement SubJobError du père.

Tout commentaire est le bienvenu

[jsd03]

J'ai une question par rapport à tes tests. Comment es-tu sûr à 100% que les connexion des jobs fils utilisent bien la connexion du job père? Tu as regarder les processus Oracle qui tournaient à ce moment ?

Parce que cette méthode, bien pensée au passage (en prenant le même nom de connexion), me semble artisanale et mérite des explications techniques

[atb]

Regarder les processus oracle non (j'ai pas les droits admin ).

Mais dans un job fils je supprime les données d'une table X et je fais un commit au niveau du père, je test sur un autre poste -> la table est bien vide.
Je refais la même chose mais avec un rollback au lieu du commit, le job s'exécute --> mais à la fin aucun changement n'est apporté au niveau de la table.

Aurais-je loupé quelque chose

[TeamArkadia]

Pour ma part, je pense qu'il s'agit effectivement de la même connexion, car dans le job fils, tu n'as pas besoin de renseigner les infos de connexion dans le composant de connexion, mais juste d'y faire figurer le même nom de transaction (cf. capture d'écran).



Pour autant, je ne peux pas le certifier n'ayant pas non plus les droits d'admin...

Si quelqu'un a la possibilité et le temps de faire un petit test, ça pourrait nous conforter sur cette voie.

[jsd03]

J'essaierai de tester si j'ai 5 minutes histoire d'être vraiment sûr mais d'après vos 2 remarques ça me semble pas mal du tout !