Questions / Problèmes Talend

[jerome80]

Bonjour,

Je débute dans Talend et j'ai plusieurs questions et problèmes :

- j'aimerai faire une jointure entre 2 tables issues de 2 bases de données différentes, le seul moyen que j'ai trouvé est de passer par un TJoin ou un TMap, mais une de mes 2 tables contient plusieurs millions d'enregistrements, et donc le job tourne presque infiniment... personne n'aurait un autre moyen ?

- j'ai plusieurs jobs qui ont besoin d'une date en context pour pouvoir filtrer des données, mais est-il possible dans le Talend Administration Center, de mettre - automatiquement - dans la variable de context la date du jour ?

- j'ai configuré mon projet afin qu'il stock les logs et erreurs dans une base de données, lorsque je lance un job depuis le studio les logs/erreurs sont bien alimentés mais par contre quand je lance un job depuis une task dans le T.A.C. les tables de logs/erreurs ne sont pas remplis :-(

- et dernier point, mon T.A.C. est très très instable, j'ai plusieurs fois par jour des "freezes" (toutes les catégories sont vides, puis quelques minutes après des "Error : servlet unreachable !! Check server log.", et dans les logs j'ai de nombreux "OutOfMemoryError: PermGen space" (logs tomcat & TAC)


Si vous avez des idées/conseils, je suis preneur

merci

[Benoit_Durand]

Envoyé par jerome80

Bonjour,

- j'aimerai faire une jointure entre 2 tables issues de 2 bases de données différentes, le seul moyen que j'ai trouvé est de passer par un TJoin ou un TMap, mais une de mes 2 tables contient plusieurs millions d'enregistrements, et donc le job tourne presque infiniment... personne n'aurait un autre moyen ?

Il est conseillé d'utiliser la plus grosse table dans le flux main et si c'est possible charger la table de référence en mémoire.
Sinon il est peut être possible de charger une des tables sur l'autre base puis de faire un inner join entre les 2 tables ...

Envoyé par jerome80

- j'ai plusieurs jobs qui ont besoin d'une date en context pour pouvoir filtrer des données, mais est-il possible dans le Talend Administration Center, de mettre - automatiquement - dans la variable de context la date du jour ?

Il est facile de l'initialiser au début du job au pire.

[jerome80]

Envoyé par Benoit_Durand

Sinon il est peut être possible de charger une des tables sur l'autre base puis de faire un inner join entre les 2 tables ...

Je vais tenter ça, merci

Envoyé par Benoit_Durand

Il est facile de l'initialiser au début du job au pire.

Comment faites vous ça ?

merci

[Benoit_Durand]

J'utilise généralement un tJavaFlex sinon pour une variable il doit être possible d'utiliser un tFixedFlowInput.

Pour le tJoin, quelle est la volumétrie des 2 tables ?

[jerome80]

Ok, je vais essayer avec le tFixedFlowInput

Au niveau volumétrie, environ 10 000 et environ 30 millions.


edit : avec le tFixedFlowInput je peux assigner une valeur, mais par contre, si après je veux changer la valeur de context depuis le TAC, celle-ci sera systématiquement ré-écrasé par le tFixedFlowInput..

[jerome80]

Bonjour,

J'ai résolu quelques un de mes problèmes, mais j'en ai toujours d'autres, si quelqu'un a des idées :

- Le TAC plante quasiment systématiquement quand je vais dans le "Jobs analyses" (logs d'exécutions des jobs)

- Impossible d'envoyer des notifications quand une tache plante, j'ai configurer la partie SMTP comme en pièce jointe (sachant qu'il n'y a pas besoin d'authentification..)

- Dès que je lance un job depuis le TAC, les propriétés de mon projet (notamment la sauvegarde des logs/stats dans la BDD) sont réinitialisées, et donc il n'y a pas de sauvegarde des logs...


merci

[jpvigniel]

Bonjour

Avez vous pu résoudre vos problèmes d'instabilité du talend administrator?

Actuellement en 4.2 c'est une vraie galère pour l'utiliser de manière prédictive.

Les contextes ne sont pas toujours disponibles, la génération plante, le comportement diffère suivant que l'on a un job simple ou avec des sous-job.

Qu'il y ai des défauts en 4.0 c'est une chose mais en 4.2 ca devient pénible.

[Benoit_Durand]

J'ai pas mal de mauvais retours sur TAC ces derniers temps.
Il faut s'assurer d'utiliser la dernière version 4.2.3 (c'est vite lourd de migrer à chaque fois) et ne pas hésiter à spammer le support payant, ils sont là pour ça.

J'ai notamment rencontré des problèmes de version de librairie Oracle et AS400 qui fonctionnait mal. Le truc bien lourd.

[jpvigniel]

Merci pour l'info, c'est de bien mauvaises nouvelles que voila, on vient de tout passer en 4.2.2.

J'espère avoir le support de vive voix demain, en attendant je vais arrêter de perdre mon temps a chercher les causes de mes problèmes tout seul.

Jean-Philippe

[Jc-balt]

Bonjour,

As tu eu des résolutions par rapport à tes soucis? Si tu peux contacter le support de l'éditeur, c'est la meilleure des solutions que tu puisses avoir. Ils sont les plus aptes à répondre à tes questions.

JBC

[Benoit_Durand]

Pour TAC il ne faut pas oublier de préciser les paramètres de lancement de la JVM de Tomcat. Peut être que par défaut le heap size est trop faible et que la plateforme lache sur certaines opérations un peu lourde.
Talend conseille de mettre le heap size (-Xmx) de TAC à 1Go.

[jpvigniel]

J'ai eu le support (chinois et plutôt compétent).

Le principal point que je voulais traiter était la lenteur anormal d'affichage des contextes dans le TAC.
Ce cas arrive si on essaie de mettre en prod un job avec un acces fichier ou base.
Un contournement est possible en encapsulant ce job dans un autre mais c'est pas tres pratique.

La réponse est de passer en 4.2.3

Les problèmes de générations étaient dus à des disques pleins. C'est pas la première fois que des disques pleins nous posent de 'gros' soucis, il faut vraiment les surveiller de pres.

La je me bats avec la gestion des logs et leur affichage dans le TAC. Encore un truc avec un comportement 'probabiliste' des plus désagréable.

JP

[Jc-balt]

Bonjour,

Merci pour ton retour intéressant sur tes soucis et la résolution de tes problèmes.

JCB