Job bloqué fin d'exécution - Flux important de données

[cupidette92]

Bonjour à tous,

J'ai un soucis au moment de la fin de l'exécution de mon Job. Il est très simple, j'ai une base oracle en entrée que je veux stocker dans une base MySQL en sortie. J'ai donc créé un job pour chacune des tables (5) en utilisant un TMap (Cf image).

Le problème c'est qu'à un moment le JOB est toujours en exécution, mais il reste bloqué: Je n'obtiens aucune erreur particulière si ce n'est l'incrémentation des lignes n'évolue plus et reste donc bloqué à environ 1.246.142 rows (sachant que la table source contient environ 1.286.175 rows). Il m'est même arrivé d'atteindre le nombre de lignes mais le job ne se termine jamais tout seul et je n'ai aucune données dans ma table destination.

Code :

1
2
3
4
5
 
Démarrage du jobP a 13:19 23/12/2010.
 
[statistics] connecting TO socket ON port 3759
[statistics] connected

Ce qui me laisse donc penser qu'il doit peut être avoir un problème de mémoire tampon(?). Dans ce cas il faudrait utiliser des fichiers temporaires? Augmenter la mémoire tampon? Exécuter le job en plusieurs sous job? Dans tous les cas j'ignore comment le faire.

Auriez vous déjà rencontré ce genre de pb? Si toutefois ce genre de sujet à déjà été ouvert, je m'en excuse, j'ai regardé sur le net, ici, et j'ai pas vu.

D'avance merci pour votre aide.

[cupidette92]

Je sais qu'avec des "Lookup" il faut éditer le TMap et activer l'option "Store in disk" en cliquant sur l'icône correspondante, puis en spécifiant dans l'onglet "Component -> Advanced Settings" du TMap, le dossier qui contiendra les fichiers temporaires. Mais il me semble que cela ne s'applique pas lorsqu'on a pas de Lookup? D moins je ne retrouve pas cette icône (disque <=> store in disk) lorsque j'édite mon TMap, mais j'ai quand même spécifier un dossier pour stocker les fichiers temporaires.

[kojuo]

A priori un manque de mémoire générera une erreur "Out of memory" de ta JVM et interrompra donc le traitement.

Combien de temps dure ton traitement jusqu'au blocage ?
Combien de temps as-tu attendu après qu'il soit bloqué ?

J'ai parfois des petits blocages de ce genre, qui durent l'espace d'une 10aine de secondes puis le traitement se poursuit.

[cupidette92]

Envoyé par kojuo

A priori un manque de mémoire générera une erreur "Out of memory" de ta JVM et interrompra donc le traitement.

Combien de temps dure ton traitement jusqu'au blocage ?
Combien de temps as-tu attendu après qu'il soit bloqué ?

J'ai parfois des petits blocages de ce genre, qui durent l'espace d'une 10aine de secondes puis le traitement se poursuit.

Exact je n'ai aucune erreur OUT of memory. J'ai laissé le job tourner pendant toute la nuit mais aucun changement au petit matin. J'ai 2 jobs sur 5 dans mon projet qui se terminent correctement car ils ont moins de données à charger. Jusqu'au blocage le traitement dure moins de 10 min...

[kojuo]

Envoyé par cupidette92

Exact je n'ai aucune erreur OUT of memory. J'ai laissé le job tourner pendant toute la nuit mais aucun changement au petit matin. J'ai 2 jobs sur 5 dans mon projet qui se terminent correctement car ils ont moins de données à charger. Jusqu'au blocage le traitement dure moins de 10 min...

Je te suggère de décomposer ton job en 2 parties :
- Déchargement de la base Orale vers un fichier (.csv ou peu importe)
- Chargement de la base mysql à partir de ce fichier

Cela te permettra déjà de déterminer à quel niveau se situe le problème (oracle, mysql ou talend)

Autrement il est assez difficile de diagnostiquer le problème uniquement à partir de ton schéma.
Comment sont paramétrés tes composants (notamment au niveau de l'onglet "Advanced settings")