Discussion :

[Bouga74]

Bonjour à tous,

J'ai un soucis de java heap space à la fin de la compilation de mon code.
Lorsque j'execute mon job principal, il compile tout et à la fin, un "java.lang.OutOfMemoryError: Java heap space" apparait sur la console et 1 popup s'ouvre en me demandant de quitter l'application (pièce jointe).

Voila ce que je peux voir dans mon fichier de log :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
java.lang.OutOfMemoryError: Java heap space
	at org.eclipse.jdt.internal.compiler.parser.Scanner.getLineEnds(Scanner.java:551)
	at org.eclipse.jdt.internal.compiler.parser.Parser.persistLineSeparatorPositions(Parser.java:9770)
	at org.eclipse.jdt.internal.compiler.parser.Parser.endParse(Parser.java:8318)
	at org.eclipse.jdt.internal.compiler.parser.Parser.parse(Parser.java:9291)
	at org.eclipse.jdt.internal.compiler.parser.Parser.parse(Parser.java:9500)
	at org.eclipse.jdt.internal.compiler.parser.Parser.parse(Parser.java:9457)
	at org.eclipse.jdt.internal.compiler.parser.Parser.dietParse(Parser.java:8102)
	at org.eclipse.jdt.internal.compiler.Compiler.internalBeginToCompile(Compiler.java:696)
	at org.eclipse.jdt.internal.compiler.Compiler.beginToCompile(Compiler.java:376)
	at org.eclipse.jdt.internal.compiler.Compiler.compile(Compiler.java:420)
	at org.eclipse.jdt.internal.core.builder.AbstractImageBuilder.compile(AbstractImageBuilder.java:363)
	at org.eclipse.jdt.internal.core.builder.BatchImageBuilder.compile(BatchImageBuilder.java:178)
	at org.eclipse.jdt.internal.core.builder.AbstractImageBuilder.compile(AbstractImageBuilder.java:300)
	at org.eclipse.jdt.internal.core.builder.BatchImageBuilder.build(BatchImageBuilder.java:60)
	at org.eclipse.jdt.internal.core.builder.JavaBuilder.buildAll(JavaBuilder.java:254)
	at org.eclipse.jdt.internal.core.builder.JavaBuilder.build(JavaBuilder.java:184)
	at org.eclipse.core.internal.events.BuildManager$2.run(BuildManager.java:633)
	at org.eclipse.core.runtime.SafeRunner.run(SafeRunner.java:37)
	at org.eclipse.core.internal.events.BuildManager.basicBuild(BuildManager.java:170)
	at org.eclipse.core.internal.events.BuildManager.basicBuild(BuildManager.java:201)
	at org.eclipse.core.internal.events.BuildManager$1.run(BuildManager.java:253)
	at org.eclipse.core.runtime.SafeRunner.run(SafeRunner.java:37)
	at org.eclipse.core.internal.events.BuildManager.basicBuild(BuildManager.java:256)
	at org.eclipse.core.internal.events.BuildManager.basicBuild(BuildManager.java:218)
	at org.eclipse.core.internal.events.BuildManager.build(BuildManager.java:360)
	at org.eclipse.core.internal.resources.Project.internalBuild(Project.java:516)
	at org.eclipse.core.internal.resources.Project.build(Project.java:94)
	at org.talend.designer.runprocess.ProcessorUtilities.generateCode(Unknown Source)
	at org.talend.designer.runprocess.ProcessorUtilities.generateCode(Unknown Source)
	at org.talend.designer.runprocess.RunProcessContext$1$1$1.run(Unknown Source)
	at org.eclipse.swt.widgets.RunnableLock.run(RunnableLock.java:35)
	at org.eclipse.swt.widgets.Synchronizer.runAsyncMessages(Synchronizer.java:133)

J'ai tenté de modifier les paramètres de la jvm en augmentant la mémoire max mais pas possible.

Quelqu'un a une idée de l'erreur et de comment la résoudre ?

Je commence à avoir beaucoup de sous jobs et je me demande si ca peut poser un problème à la compilation.

Merci !

[boubsy]

Salut,

Si c'est a la génération de ton job, il faut que tu augmentes les paramètres mémoire du studio.
Pour cela edites sous windows le fichier TalendOpenStudio...x86.ini et modifie le paramètre -Xmx500m.

Passe le a 1400m par exemple.
Cela dépend de la mémoire dispo sur ton poste, essayes plusieurs valeurs.
Sinon passes sur un OS 64 bits ou tu ne seras plus limité à 2Go de mémoire.

Si tu as TIS, tu peux passer par un distant run, pour compiler directement sur le serveur (souvent en 64 bits et avec + de mémoire qu'un simple poste).

boubsy

[Bouga74]

Merci Boubsy, ca marche niquel avec 1400 .
Je pensais qu'on pouvait changer uniquement les valeurs dans la fenêtre "Préférence".

A+ !

[Bouga74]

Re !

Après avoir continuer a rajouter des sous jobs, je me retrouve une nouvelle fois limité par des problèmes de mémoire...

Log Console :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Exécution en erreur:No more handles

Fichier .log :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
!ENTRY org.talend.libraries 4 0 2010-04-29 12:44:52.309
!MESSAGE 2010-04-29 12:44:52,309 ERROR org.talend.commons.exception.ExceptionHandler  - No more handles
 
!STACK 0
org.eclipse.swt.SWTError: No more handles
	at org.eclipse.swt.SWT.error(SWT.java:3803)
........

Plus de possibilité d'augmenter les paramètres mémoires qui sont déjà à fond dans mon .ini :s.

Pour l'instant, le seul moyen d'exécuter est d'exporter mon job de lancement en tant que script et de lancer le .bat. Et pas de réponse sur le forum officiel .

Quelqu'un aurait-il une idée ?

Merci d'avance !

[Benoit_Durand]

A part découper le système, je en vois pas de solution désolé.
Mais par curiosité (ou info) vous avez combien de sous jobs ?

[Bouga74]

Bonjour,

Ca deviens compliqué alors :s.
Après comptage je suis a 202 sous jobs...
Et j'en ai bien entre 10 et 15 a chaque regle créée (mm si la plupart appel un seul job générique).

[boubsy]

Il faut passer sur une plateforme 64 bits qui te permettra d'allouer + de mémoire au studio.

boubsy

[Bouga74]

Merci pour la réponse mais ca m'arrange pas tout ca, si c'est pour être limité de nouveau d'ici quelques règles supplémentaires ...

Il me semble avoir vu sur un forum qu'il existe une variable pour la JVM permettant de limité ce genre de problème de mémoire (autre que Xms / Xmx) mais impossible de retomber sur ce lien ou sur cette variable.

Personne n'aurait entendu parler de ca par hasard ?

Merci d'avance

[DevNico]

Mais d'un autre coté, 200 sous-jobs, c'est énorme non ?

J'ai rencontré des soucis de mémoires sur la jvm sur le projet sur lequel je bosse actuellement, et une des solutions fut de séparer les traitements en plusieurs jobs, afin de les faire tourner en plusieurs lancements de jvm successifs.

Nicolas

[Bouga74]

C'est enorme, mais très loin d'être finit :s. Le double est largement envisageable sur ce projet.

Oui je pense que ca sera la solution a mettre en place, effectuer plusieurs lancements successifs.

Merci pour vos réponses en tout cas, je laisse ouvert qd mm le sujet un peu de temps au cas ou !

[jsd03]

Bonjour,

Tu peux aussi augmenter la taille de ton fichier d'échange car une fois toute la mémoire utilisée sur une machine, les programmes vont piocher sur cette mémoire virtuelle donc si tu l'augmentes peut être que... par contre si tu as plus d'une partition pense à mettre ton fichier d'échange sur une partition autre que le système ça boostera encore plus ta machine.

Juste pour info tu es sous TIS ou TOS ?

Si tu es sous TIS j'aimerai savoir quelle est la configuration du serveur.

Dans tous les cas quelle est la configuration des postes de développement ?

Après ça peut aussi venir que tes jobs sont plus au moins mal développé ou pensé. Et en fait ce serait plus un problème de fond qu'autre chose. Par exemple évite de faire des lookup multiple ou des aggréations si tu peux les faire directement en passant par des requêtes SQL... j'aurai plein de tips à te donner sur le sujet mais déjà j'attends tes réponses

[Bouga74]

Merci pour toutes ces précisions !

C'est quoi ce fichier d'échange par contre ?

Alors pour les infos je suis sous TOS 3.2.3.

Ma machine de dev :
Pentium Dual CPU 1.8GHz 1.98GB de RAM

Fichier d'initialisation de talend sur ma machine de dev (TalendOpenStudio-win32-x86.ini):
-vmargs
-Xms40m
-Xmx1280m
-XX:MaxPermSize=128m

Mon serveur d'execution :
Intel Xeon CPU 3.2GHz 2GB de RAM

Fichier (TalendOpenStudio-win32-x86.ini)::
-vmargs
-Xms40m
-Xmx1400m
-XX:MaxPermSize=128m


Mes requetes sont en générales optimisées au maximum pour limiter les traitements.

Mon soucis est que j'ai énormément de possibilités d'execution :
- lancement d'une regle
- lancement d'un processus (appelant n regles)
- lancement d'un objet (appelant m (autres) regles)
...
- lancement de tout l'ensemble (appelant i processus, j objet, ...)

J'ai donc tout un systeme de controle, de mise à jour d'information en base de données, de controle de reprise d'un lancement, ..., de traitement des regles, processus, ... donc énormément de chose a mettre en place et l'organisation est de telle sorte a ce qu'on puisse très rapidement faire les choses une fois la structure de base mise en place (maximum de généricité)

Je prend tous les conseils en tout cas !

[jsd03]

C'est quoi ce fichier d'échange par contre ?

C'est le fichier d'échange de Windows (clique droit sur poste de travail > Propriétés > onglet Avancé > Performances > bouton Paramètres > onglet Avancé > Mémoire virtuelle > Bouton Modifier)

Alors pour les infos je suis sous TOS 3.2.3.


Ma machine de dev :
Pentium Dual CPU 1.8GHz 1.98GB de RAM

Fichier d'initialisation de talend sur ma machine de dev (TalendOpenStudio-win32-x86.ini):
-vmargs
-Xms40m
-Xmx1280m
-XX:MaxPermSize=128m

Mon serveur d'execution :
Intel Xeon CPU 3.2GHz 2GB de RAM

Fichier (TalendOpenStudio-win32-x86.ini)::
-vmargs
-Xms40m
-Xmx1400m
-XX:MaxPermSize=128m


Mes requetes sont en générales optimisées au maximum pour limiter les traitements.

Mon soucis est que j'ai énormément de possibilités d'execution :
- lancement d'une regle
- lancement d'un processus (appelant n regles)
- lancement d'un objet (appelant m (autres) regles)
...
- lancement de tout l'ensemble (appelant i processus, j objet, ...)

J'ai donc tout un systeme de controle, de mise à jour d'information en base de données, de controle de reprise d'un lancement, ..., de traitement des regles, processus, ... donc énormément de chose a mettre en place et l'organisation est de telle sorte a ce qu'on puisse très rapidement faire les choses une fois la structure de base mise en place (maximum de généricité)

Je prend tous les conseils en tout cas !

Pour le reste : le serveur d'exécution n'est pas assez puissant ! surtout si en plus ta base de données se trouve sur ce serveur. Et puis vu que tu ordonnances tout un tas de job c'est "normal" que ça pette... il va falloir investir

[Bouga74]

Ok merci pour ces infos, je vais tenter dans un premier temps d'augmenter la valeur du fichier d'échange et je verrai ce que ca donne.

Ma base de données est sur un autre serveur.

Au niveau de l'investissement ... comme tu dis : ^^!
Il faudrait partir sur quel type de config (au minimum) pour être vraiment tranquille ?

Merci !

[jsd03]

Il faudrait plus d'information pour pouvoir te répondre comme :
- la volumétrie BDD
- la volumétrie fichier (taille et nombre)
- le nombre de job à la fin (approximativement)
- d'autres applications accède à ce serveur ?

et tout ce que tu vois nécessaire de nous communiquer qui pourrait influer sur les performances.

[Bouga74]

Ce serveur est dédié au lancement de Talend. C'est la seule application à y accéder.

Au niveau de la volumétrie, c'est assez difficile à estimer.

On utilise oracle. On a un schéma spécifique dans lequel dans un premier temps on va créer des tables d'extractions, c'est a dire qu'on va rechercher dans d'autres schémas les informations qu'on va avoir besoin dans les traitements effectués sous Talend. Pour le moment, en gros, on a environ 2 millions d'enregistrements. Cela pourra dans le futur dépasser les 50 millions d'enregistrements par table d'extraction. Actuellement on a 3 tables d'extractions, dont une qui ne bougera logiquement plus et qui en contient 40 millions. On risque d'avoir encore 4 ou 5 autres tables d'extractions. La base contient bcp de tables, une 50aine est actuellement utilisée par Talend, au moins 100 - 150 par la suite. Ces tables sont remplis par talend, la volumétrie est en générale plus faible que les tables d'extraction (certaine ont une 100aines d'enregistrement, d'autre au max une 10aine de milliers)

Au niveau de l'avancement du projet, on va dire un gros 15 - 20%. Mais la structure de base est en place. Dur d'estimer le nombre de job, mais la barre des 500 me semble facilement atteint (Certains job peuvent apparaîtrent des 10aines de fois par traitement).

Au niveau des fichiers, a part en écriture, rien de spécial.

Voila en gros pour les détails !

[jsd03]

Je vais te répondre par un exemple :

Dans un des projets sur lequel j'ai travaillé on avait une base de données avec 6 tables d'environs 20 millions de données. On a développé environs 150 jobs et c'étaient des traitements plutôt lourd.

On avait pour se faire 1 serveurs avec la base de données et les traitements Talend.

Un projet similaire au tien (je trouve à part qu'on avait un serveur pour le tout) et bon on est tous d'accord pour dire que Oracle sa mange beaucoup de puissance et Talend avec Java également. On avait un serveur 8 core et 10Go de mémoire et même avec cela je trouve que c'était lent Donc comme ton projet tu utilises 2 serveurs il faudrait voir à diviser par deux la config que je viens de te dire (ou faire ratio Oracle/Talend) Mais pour un serveur de prod avec moins de 5Go pour Talend... c'est très insufisant.

[Bouga74]

Oui effectivement on en est loin avec ce serveur :s.
L'idée de changement de serveur est déjà en route au final parce que la situation ne va plus tarder a devenir bloquante...

Merci pour toutes ces infos en tout cas !

[Oreste]

Outre le fait que ton traitement va bloquer a l execution tu risque egalement d atteindre les limites de la JVM a savoir qu une methode ne peut depasser 65530 ko => donc impossible a compiler. Cette limite est repoussée si t es sur sur une jvm de 64 bits.

[Bouga74]

Ok c'est bon a savoir aussi !

Merci