Discussion :

[dexedrine]

Bonjour,

Je suis débutante sur Talend et je cherche à recréer un traitement existant sous ODI avec Talend. J'utilise TOS Version: 5.0.2 Build id: r78327-20120216-0244 et un Pc Windows xp pro sp3 3Go de Ram.

J'essaye de réaliser le job (en fichier attaché) mais j'ai un problème de heap space. Les tables utilisées font 2 millions de lignes pour deux d'entre elles et 8 millions pour la dernière.

J'ai déjà testé le stockage sur le disque et voici la backtrace du traitement avec –xms256M et –Xmx1024M (storage on disk) : bloque a 1091328 lignes

[statistics] connecting to socket on port 4048
[statistics] connected
Warning: to avoid a Memory heap space error the buffer of the lookup has been limited to a size of 1091327 , try to reduce the advanced parameter "Max buffer size" (~100000 or at least less than 1091327), then if needed try to increase the JVM Xmx parameter.

J'ai déjà biensûr essayé d'augmenter xms et xmx. Rien.

Puis j'ai remis la config initiale et j'obtiens :

[statistics] connecting to socket on port 3509
[statistics] connected
Exception in thread "main" java.lang.Error: java.lang.Error: java.lang.OutOfMemoryError: Java heap space
at test.proddatetime_0_1.ProdDateTime.tOracleInput_1Process(ProdDateTime.java:2090)
at test.proddatetime_0_1.ProdDateTime.runJobInTOS(ProdDateTime.java:3695)
at test.proddatetime_0_1.ProdDateTime.main(ProdDateTime.java:3563)
Caused by: java.lang.Error: java.lang.OutOfMemoryError: Java heap space
at test.proddatetime_0_1.ProdDateTime.tOracleInput_2Process(ProdDateTime.java:2878)
at test.proddatetime_0_1.ProdDateTime.tOracleInput_1Process(ProdDateTime.java:1245)
[statistics] disconnected
[statistics] disconnected
... 2 more
Caused by: java.lang.OutOfMemoryError: Java heap space
at oracle.jdbc.driver.NumberCommonAccessor.getBigDecimal(NumberCommonAccessor.java:5588)
at oracle.jdbc.driver.NumberCommonAccessor.getObject(NumberCommonAccessor.java:6347)
at oracle.jdbc.driver.T4CNumberAccessor.getObject(T4CNumberAccessor.java:293)
at oracle.jdbc.driver.OracleResultSetImpl.getObject(OracleResultSetImpl.java:921)
at test.proddatetime_0_1.ProdDateTime.tOracleInput_2Process(ProdDateTime.java:2613)
... 3 more

J'ai aussi vu que le composant tMap était par défault limité à 2000000 de lignes et j'ai beau le changer, rien ni fait...
Auriez vous une solution ? Des suggestions pour améliorer les performances de ce job ?

Merci d'avance pour vos réponses,
Dex