Discussion :

[Marshall06]

Bonjour,

J'ai développé une transformation PDI, qui prend en entrée un fichier de 350k lignes. Il y a ds le flux deux steps de recherche en BDD.

Sur mon PC, pas de problème le flux fonctionne très bien. Je suis sous XP et utilise JRE 1.6, je ne sais pas si ça peut aider.

Sur le poste du client, lors de l’exécution de la transformation, on a un plantage de PDI, le flux s’exécute plus lentement et se ferme complétement au niveau de la deuxième étapes de recherche. J'ai beau cherché, je ne comprends pas ce qui change entre mon environnement de dev et celui du client.

Avez vous des pistes ou avez vous déjà rencontré ce problème ?

Toute aide sera la bienvenue.
Merci

[walach]

il faudrait vérifier la taille de la mémoire allouée à va dans le fichier Spoon.bat ou Kitchen (selon ce qui est utilisé) et repérer la ligne suivante :

if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xmx512m" "-XX:MaxPermSize=256m"

ça peut permettre d'augmenter la taille de la mémoire utilisée par Java.
J'ai parfois eu le même problème et souvent c'est dû à la machin sur laquelle Kettle tourne qui n'a pas assez de ressources.

[sdecloix]

Bonjour Marshall06

En effet augmenter la taille de la JVM peut aider

Fais attention aussi à ne ramener dans tes étapes "Recherche dans Base" uniquement les colonnes nécessaires afin de ne pas trimbaler des données inutiles.
Tu peux aussi "Autoriser la mise en cache" + "Monter toute la table en mémoire" pour que le traitement soit + rapide

[Marshall06]

Reponse un peu tardive mais merci de votre aide !

[raph04]

Bonjour,

J'ai installé PDI sur un Machine Virtuelle pas mal boosté :
- 64GB de mémoire vive
- 10 coeurs physique (20 coeurs logique)

Je me suis donc fait plaisir à augmenter la mémoire au niveau du spoon.bat :
if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xmx16384m" "-XX:MaxPermSize=16384m"

Cependant est-il également possible d'augmenter le nombre de CPU (ou coeurs) alloués à PDI ?
En effet le traitement est plus long sur la Machine Virtuelle que sur mon propre PC (qui est loin d'avoir 10 coeurs et 64MG de RAM)...