Discussion :

[MLenee]

Bonjour,

Je travaille au quotidien sur la transformation de données, je me suis tourné vers Talend qui paraît être une bonne solution.

Seulement lorsque je teste sur une volumetrie consequente, Talend se plante. J'ai lu les differents posts sur les problèmes de mémoire mais pourtant il se plante toujours.

Le job est simple, un fichier initial avec une jointure dans un tmap avec le fichier après traitement pour restituer un fichier avec données intiales plus données traitées.

Pour le loockup, l'option disque est cochée et les variables xms et xmx sont respectivement à 512 et 1536.

Les 2 fichiers contiennent 1.443.582.

Le loockup s'effectue, la lecture du main se fait jusqu'à un peu plus de 800.000 adresses puis le job se plante avec le message suivant :

"Buffer marked at index (1-Lookup) 859391
#
# A fatal error has been detected by the Java Runtime Environment:
#
# java.lang.OutOfMemoryError: requested 131072000 bytes for GrET in C:\BUILD_AREA\jdk6_16\hotspot\src\share\vm\utilities\growableArray.cpp. Out of swap space?
#
# Internal Error (allocation.inline.hpp:39), pid=1684, tid=2352
# Error: GrET in C:\BUILD_AREA\jdk6_16\hotspot\src\share\vm\utilities\growableArray.cpp
#
# JRE version: 6.0_16-b01
# Java VM: Java HotSpot(TM) Client VM (14.2-b01 mixed mode windows-x86 )
# An error report file with more information is saved as:
# D:\Outils\TOS-All-r30698-V3.2.0\hs_err_pid1684.log
#
# If you would like to submit a bug report, please visit:
# http://java.sun.com/webapps/bugreport/crash.jsp
#"

Pour finir les fichiers sont des fichiers texte, de longueur fixe de 441 octets, version 3.2.0 de TOS, PC de 2.8 GHz avec 2 GO de RAM Xp service pack 2.

Dans l'attente de vous lire

[MLenee]

Personne ne peut m'aider ? J'ai un vrai problème de traitement avec des fichiers a plats d'une certaine volumetrie et avec un lookup.

Je ne sais vraiment pas comment faire. J'attends vos idées.

Merci

[TeamArkadia]

Essaie de mettre ton lookup en "Reload at each" et non pas en "Reload at each (cache)".

J'ai eu ce genre de problème une fois que j'ai résolu ainsi, mais je ne peux pas te garantir que ça va marcher...

[MLenee]

Bonjour,

Merci pour ta proposition, malheureusement ca ne passe pas.

J'ai testé les 3 possibilités et voila ce que j'obtiens :

"charge 1 fois" : lecture totale du loockup (1.443.582 lignes),
lecture du main 1.184.615 lignes avant plantage,
"recharge chaque ligne" : lecture totale du main (1.443.582 lignes),
lecture du loockup 1.196.652 lignes avant plantage,
"recharge à chaque ligne (cache) : lecture 1 ligne main,
lecture 1.307.193 loockup.

Pour cette derniere option, voila le message d'erreur :
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
at java.util.Arrays.copyOfRange(Unknown Source)
at java.lang.String.<init>(Unknown Source)
at java.io.BufferedReader.readLine(Unknown Source)
at java.io.BufferedReader.readLine(Unknown Source)
at org.talend.fileprocess.delimited.RowParser.readRecord(RowParser.java:156)
at ml_production.test_performance_0_1.Test_performance.tFileInputPositional_2Process(Test_performance.java:3439)
at ml_production.test_performance_0_1.Test_performance.tFileInputPositional_1Process(Test_performance.java:2192)
at ml_production.test_performance_0_1.Test_performance.runJobInTOS(Test_performance.java:4168)
at ml_production.test_performance_0_1.Test_performance.main(Test_performance.java:4061)

[DevNico]

Si j'ai bien compris, la meilleur solution devrait être d'utiliser l'option "Charge une fois", en activant l'option "Stocker les données temporaires sur le disque" (toujours dans le lookup).

Ainsi tu as des performances correctes (le lookup n'est chargé qu'une fois), mais sans utilise trop de mémoire (les données du lookup sont stockées sur le disque et non en mémoire).

Nicolas

[MLenee]

C'est malheureusement mon parametrage DevNico. "Charge 1 fois" et stockage sur le disque" et pourtant le loockup n'arrive pas au bout.

Merci quand meme

[DevNico]

Alors il doit y avoir un autre soucis...
Parce que pour remplir 1,5 Go de mémoire, il faut y aller quand même.

Ils font quelle volumétrie les fichiers que tu utilises ?
Est-ce que tu as modifié le paramétrage avancé du tFileOutput que tu utilises ?
Tu as essayé de lancer le traitement sans activer les statistiques lors de l'exécution ?

[MLenee]

Les fichiers font 1.443.582 lignes de 441 octets soit un peu moins de 500 MO.

J'ai en effet desactiver les statistiques et malheureusement ca tombe aussi.

Par contre je vais faire un test avec l'option avancée sur le fichier Output et je te tiens au courant.

Merci

[MLenee]

Alors même avec l'oiption "custom the flush buffer size" à 800.000, ca plante. La j'ai un vrai problème.