Discussion :

[prupruchris]

Bonjour,

Depuis que j'ai légèrement augmenté le volume de données traitées, j'ai le message d'erreur suivant sur un job qui fonctionnait :
Exception java.lang.OutOfMemoryError: requested 131072000 bytes for GrET* in C:/BUILD_AREA/jdk1.5.0-11/hotspot\src\share\vm\utilities\growableArray.cpp Out of swap space?

J'ai lu toutes les discussions sur ce sujet, j'ai donc :
- lancé par un exécutable Windows au lieu de l'environnement Talend, avec le paramètre -Xmx=1536M, paramètre que j'ai également défini dans l'environnement Talend dans les préférences
- mis tous mes lookup "sur le disque" (icone dans le lookup + chemin des fichiers temp)
- augmenté le flux dans les tmap (max_buffer_size)

Malgré toutes ces mesures, je n'ai pas d'amélioration.
Est-ce que quelqu'un saurait m'aider? Je joins une copie d'écran du lancement depuis l'environnement Talend pour que vous voyiez les flux.
Merci d'avance.

[prupruchris]

Pas de réponse!

Pour me débloquer, j'ai découpé mon job en plusieurs jobs, mais j'aimerais vraiment trouver une solution pro.

Si quelqu'un veut bien m'aider...

Merci d'avance.

[boubsy]

Bonjour,

Il manque une partie du job.
Il nous faudrait un screenshot complet de ton job avec le nombre de lignes.
Il s'agit juste de tuning. Tu ne devrais avoir de dépassement mémoire.

Attention aux valeurs par défaut de l'option store on disk. 2.000.000 est une valeur trop élevée. 200.000 est plus réaliste.

Sinon, dès que tu as du volume, il faut passer sur une architecture 64bits qui te libère des contraintes mémoire du java 32 bits.

boubsy

[lazarel]

As-tu essayé de découper ton job en plusieurs afin de savoir à partir de quel moment tout pète ?

De mémoire le Lookup est important car il met en cache les données afin d'optimiser le traitement. De ce fait, si Java ne libère pas la mémoire celle-ci explose dans le cas où tu as un nombre de données conséquentes