Discussion :

[sovo]

Bonjour,

Je suis entrain de mettre en place une mise a jour incrémentale.

Mon problème est que je n'arrive pas a écrire le contenu d'une variable de context dans un fichier.

Je récupère le dernier enregistrement, que je veux stocker dans un fichier (ce que je n'arrive pas a faire). et a chaque exécution du job je lis ce fichier.

[arezkus]

Bonjour
le composant tMemorizeRows va répondre parfaitement à votre problème.

[Netsoro]

Bonjour
le composant tMemorizeRows va répondre parfaitement à votre problème.

Exactement tMemorizeRows pourrait très bien le faire, par contre si pour une raison quelconque tu veux écrire dans un fichier quand même, ton job doit ressembler à ça :

[sovo]

Bonsoir,

Le tMemorizeRows garde la donnée en mémoire, hors moi je veux la garder dans un fichier afin de la réutiliser à la prochaine exécution du Job.



@abdouone0184, ton schéma ne corresponds pas vraiment à ce que je veux faire.

Je vais essayer de mieux expliquer.

Je veux :
1) au lancement du job il aille chercher le dernier Index (dans un fichier ou une variable) LastIndex.
2) il fait une sélection (dans la BD source) en fonction de LastIndex
3) fait des traitement et les met dans la BD de destination.
4) a la fin de (3), il stock le nouveau dernier index, qu'il aura récupéré, dans un fichier ou une variable. Cet index sera utilisé a la prochaine exécution du Job en (1)

J’espère avoir été plus clair cette fois.

Merci

[Netsoro]

Effectivement c'est un peu plus claire, donc on suppose que tu as déjà la requête qui te retourne ton lastIndex ?

Quelque chose du genre : select index from ta_table where rowid in(select max(rowid) from ta_table);

[sovo]

Effectivement c'est un peu plus claire, donc on suppose que tu as déjà la requête qui te retourne ton lastIndex ?

Quelque chose du genre : select index from ta_table where rowid in(select max(rowid) from ta_table);

Oui mon tMap a 2 output, une pour alimenter la table de fait et une autre garder les index, et donc le dernier index sera celui a sauvegarder. c'est a ce niveau que je suis coincé. comment sauvegarder cet index ?

[supergeoffrey]

Tu ajoutes un setGlobalVar pour sauvegarder dans la globalMap ton index.
Tu ajoutes un tFixedFlowInput qui lie la globalMap pour récupérer le dernier index et qui a en sortie ton fichier dans le composant tFileOutputDelimited.
Tu relies le tFixedFlowInput et le tOracleInput par une connection onComponentOk ou onSubjobOk.


Pas obligatoire :
Si tu veux faire plus propre et enlever les transactions.
tu peux utiliser un tPreJob pour initialiser la valeur de l'increment (Attention si le fichier n'existe pas) et un tPostJob pour sauvegarder la valeur dans le fichier.

[Netsoro]

Ahh Ok, je pense avoir compris ton problème , au faite tu dois récupérer ton lastIndex avant d'arriver dans ton tMap, car sinon au premier lancement de ton job ton lastIndex n'est pas initialisé.

Dans ce cas je ne pense même pas que tu aies besoin d'écrire ton lastIndex dans un fichier, voici comment j'aurais implémenté ça :



Dans le premier tOracleInput_1 :


"SELECT MAX(key_id) FROM ta_table"

Ou bien

"SELECT COUNT(*) FROM ta_table" => comme ça si ta table est vide la requête te retourne 0.

Dans ton tJavaRow_1 :

context.lastIndex = input_row.lastIndex+1;

Tu initialises ta variable de contexte lastIndex, ainsi tu pourras utiliser cette variable de contexte dans le reste de tes sous-job sans problème.

A chaque fois que tu lancera ton job, il te récupérera d'abord ton lastIndex, avant de faire le reste de tes traitements.

[sovo]

J'avais pensé à cette solution, mais comme je n'enregistre pas les index dans la table de destination, je l'ai mise de coté.

Vu comment je galère pour faire autrement, je crois que je vais revenir a cette solution/configuration.

[Netsoro]

J'avais pensé à cette solution, mais comme je n'enregistre pas les index dans la table de destination, je l'ai mise de coté.

Vu comment je galère pour faire autrement, je crois que je vais revenir a cette solution/configuration.

Ah ok, si tu n'enregistre pas d'index dans ta table, dans ce cas tu peux simplement compter le nombre de ligne se trouvant dans ta table "SELECT COUNT(*) FROM ta_table" , ensuite que tu incrémente de 1 à chaque fois.

[sovo]

tu dois récupérer ton lastIndex avant d'arriver dans ton tMap

Finalement j'ai utilisé cette méthode. Je n'ai trouvé rien de mieux.

Le resultat final



Merci a tous.