tLoop qui s'arrête à 62 exécutions [Résolu]

[NanieMova]

Bonjour,

J'essaie de générer ma dimension Temps (cube Palo) à l'aide d'un tLoop et d'un tFixedFlowInput. Mon job ne tombe pas en erreur mais l'exécution s'arrête systématiquement à 62 lignes alors que mon tLoop est configuré pour en traiter 1850...

Dans mon tFixedFlowInput je génère ma date de cette manière (voir pièce jointe) :
TalendDate.addDate(TalendDate.parseDate("yyyyMMdd","20090101"),(Integer)globalMap.get("tLoop_1_CURRENT_VALUE"),"dd")

Et je la mappe dans le tMap par une variable intermédiaire :
TalendDate.formatDate("yyyyMMdd",row1.DATE)

Côté Palo ma dimension est bien générée et les dates vont du 01/01/2009 au 04/03/2009.

Ai-je oublié quelque chose ?
Merci pour votre aide.

[NanieMova]

Il suffit de poster un message pour enfin trouver une solution sur le net
http://www.dataprix.net/en/blogs/res...use-etl-talend

Bon par contre le temps d'exécution du job s'approche des 5 minutes... c'est hyper long. Donc si quelqu'un a une solution pour mon 1er post je suis preneuse

[NanieMova]

Bon en fait je suis tout aussi perdue qu'avant... Je me suis rendue compte que ma solution avec le tRowGenerator ne fonctionne que si je paramètre une génération de 100 lignes par occurence... Ce qui n'est pas logique vu que je ne souhaite récupérer qu'une seule date...
Mais quand je passe le paramétrage à 1 seule ligne par occurrence, mon job s'arrête à nouveau à 62 occurrences !

Personne ne bosse avec Talend & Palo ? J'ai l'impression d'être seule au monde

[DevNico]

Bonjour,

Je vais essayer de t'aider, mais je ne connais pas du tout Palo

J'ai eu la même problématique en fait pour alimenter une table de dimension temps dans une base mysql, mais je n'ai pas utilisé de composant tLoop.
J'ai juste paramétré un tRowGenerator pour générer un certain nombre de ligne, avec en sortie un champs qui s'incrémente.

Code :

"sequence identifier=>'s1'; start value => 0; step=> 1"

Puis dans le tMap, j'utilise ce champ pour générer les dates et les champs liés.
(Numéro du jour dans le mois, numéro du jour dans la semaine, numéro de la semaine, numéro du mois...)
Par exemple pour la date je fais ceci :

Code :

TalendDate.addDate(TalendDate.parseDate("ddMMyyyy", "01012011"),in_.Nb,"dd")

Par contre, je n'ai aucune idée de la raison pour laquelle ton traitement s'arrêterait au bout de 62 itérations...

Nicolas

[kojuo]

Bonjour,

Une autre alternative à considérer : http://bekwam.blogspot.com/2011/02/t...nsion-job.html


J.O.

[DevNico]

Envoyé par kojuo

Bonjour,

Une autre alternative à considérer : http://bekwam.blogspot.com/2011/02/t...nsion-job.html


J.O.

Ouai, ça m'a l'air bien compliqué tout ça.
Je ne vois pas trop l'intérêt des ces 3 boucles imbriquées alors qu'il suffit d'incrémenter la date...

La solution que je propose n'a que 3 composants :
Le tRowGenerator, le tMap et le composant d'insertion dans le système.

A moins que j'ai loupé quelque chose...

[NanieMova]

Merci pour ces réponses ! Enfin des pistes à explorer Je vais essayer celle de DevNico pour commencer, car effectivement elle a l'air plus simple.

Par contre je dois vraiment être une bille en Talend, car je ne vois pas où mettre le code du RowGenerator Et ensuite ton in_.Nb, ça correspond à quoi ? (Je suis désolée si mes questions sont bidons )

[DevNico]

Et bien dans les propriétés du composant tRowGenerator, il y a un bouton RowGenerator Editor.
Dans la colonne 'Functions', tu choisis 'sequence'.

Et Nb est le nom de la donnée générée par le tRowGenerator.

[NanieMova]

Youhouh, ça progresse ! Merci DevNico

Mon format de sortie était toujours en Date dans le RowGenerator, c'est pour ça que je n'avais pas de "séquence"... Du coup ça fonctionne beaucoup mieux d'un coup

Bon par contre j'ai perdu mes jours... Il ne me crée que les années et mois et encore pas de façon régulière. Je mets en copie mon tMap et le résultat dans Palo, peut-être que quelque chose vous sautera aux yeux ?

[DevNico]

Ah ...
Pourtant ça a l'air correct à première vue.

Peut-être pourrais-tu remplacer ton composant palo par un tFileOutputDelimited histoire de vérifier que ce que tu as en sortie de ton tMap est correct ?

[NanieMova]

Yep, bonne idée. C'est rassurant, le fichier en sortie est nickel.

En fait j'avais une erreur dans le mapping... faut m'excuser je suis un peu blonde Donc j'ai bien retrouvé mes jours, par contre il les crée n'importe comment, que pour le mois de septembre () et au bout d'un moment il m'affiche cette erreur... Vu que le fichier d'output est impec, c'est forcément une autre erreur de mapping, mais là franchement je sèche...

[DevNico]

Là du coup, je ne vois pas trop...
J'imagine qu'il faudrait avoir l'avis de quelqu'un qui a déjà bossé avec les composants Palo.

[NanieMova]

Je m'y suis remise après une semaine de vacances, et la lumière fut ! Il n'aimait pas les doublons "01", "02"... En passant en "201001", "201002", ça fonctionne impeccable !

Merci pour vos conseils avisés

[DevNico]

Comme quoi... Rien ne vaut une semaine de vacances pour repartir sur de bonnes bases.

[NanieMova]

C'est bien vrai ça ! Je vais en prendre plus souvent tiens