Discussion :

[n1k00]

Bonjour, je suis en train de développer une application qui se doit de scanner l'ensemble des pages d'un site afin de les analyser et d'en ressortir certaines informations (valide W3C, structure...). Donc pour obtenir les pages je créée l'arborescence du site et doit récupérer l'ensemble des liens.
Le problème c'est que lorsque le site compte beaucoup de pages j'obtients :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Exception in thread "main" java.lang.OutOfMemoryError: Java heap space

J'ai déjà pas mal optimiser mon code en mettant à null mes objets.

Je sais qu'on peut augmenter la taille du tas sous eclipse mais est ce que cela sera également le cas lorsque je mettrais mon logiciel en prod avec son jar exécutable?? puis pas sur que cela soit très propres. surtout que pour le moment j'ai toujours pas fait l'interface graphique qui risque de me bouffer de la mémoire aussi.

Sinon je me demandais si il était possible d'augmenter la taille du tas de manière dynamique.

Si quelqu'un à une idée pour éviter la gestion de la mémoire.

Merci d'avance.

[we.are.the.storm]

Bonjour,

L'augmentation de la taille mémoire allouée à un programme se gère directement à l'éxecution du programme en passant des attributs à la machine virtuelle, voir -Xms (mémoire min allouée) et -Xmx (mémoire max allouée)
http://download-llnw.oracle.com/java...aris/java.html

C'est ce que fait Eclipse au travers de son interface et c'est donc possible en prod en lancant votre programme de cette manière :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

java -Xms64m -Xmx128m monProg

[n1k00]

OK et pour l'avoir à chaque lancement de l'application quelque soit l'os je dois faire comment?

[we.are.the.storm]

L'exemple que je vous ai donné fonctionne sur tous les OS.

Après, personnellement je fournirais avec mon programme un script par OS, startup.sh pour Linux et startup.bat pour Windows par exemple, mais les deux contiendront mon exemple tel quel.

[lastrecrue]

La vrais question est ce que c'est possible de forcé le passage du grabage collector ???

[adiGuba]

Salut,

La vrais question est ce que c'est possible de forcé le passage du grabage collector ???

Oui, mais il ne faut pas le faire !


a++

[wax78]

La vrais question est ce que c'est possible de forcé le passage du grabage collector ???

Oui bien sure :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

System.gc();

Mais cela est fort déconseillé, et d'ailleurs cette commande, je pense, ne va pas forcement "faire effectuer un passage du GC".

Si tu dois vouloire faire cela il doit y'avoir 2 causes :

- Soit tu n'alloues pas assez de mémoires malgré que celle ci est eventuelement disponible.
- Soit tu dois effectivement allouer de la mémoire en masse et y'en aura jamais assez et donc peut importe tu ne sauras rien y faire. (Genre charger un fichier texte de 6 giga totalement en mémoire pour une raison inconnue .
- Soit tu as une erreur qlq part qui fait que des references sont gardées (dans une boucle ou un truc du genre) qu'il faudrait corriger afin d'eviter de vouloir appeler le gc.

EDIT : ha ben voila jme suis fait avoir j'ai mis trop longtemps a répondre

[adiGuba]

@wax78 : mis à part pour des tests de performance afin d'être sûr que le passage du GC ne faussent les données, je ne vois aucune raison valable de l'appeler explicitement !!!

Par contre cela peut poser de gros problème de performance...

a++

[lastrecrue]

@wax78 : mis à part pour des tests de performance afin d'être sûr que le passage du GC ne faussent les données, je ne vois aucune raison valable de l'appeler explicitement !!!

Par contre cela peut poser de gros problème de performance...

a++

je n'ai pas bien suivie ???

[wax78]

@wax78 : mis à part pour des tests de performance afin d'être sûr que le passage du GC ne faussent les données, je ne vois aucune raison valable de l'appeler explicitement !!!

Par contre cela peut poser de gros problème de performance...

a++

Je n'ai fait que répondre correctement a la question de lastrecrue qui était "comment appeler le garbage collector" en nuançant ma réponse du "c'est mal".

D'où mes autres phrases

[adiGuba]

En quelques mots : il ne faut pas forcer le GC !

a++

[tchize_]

de toutes façons un GC profond est toujours effectué avant de déclencher un OutOfMemory, donc c'est irrelevant à la question de base.

Pour la question de base: oui tu peux augmenter, oui tu peux distribuer avec plus de mémoire (suffit de fournir un script de démarrage). Maintenant savoir si c'est judicieux ou pas dépend de ton programme, de la taille des données qu'il manipule, t'es le seul à pouvoir faire l'estimation.

@lastrecrue: le GC profond (le seul qu'on déclenche explicitement d'ailleurs) utilise du temps CPU. Plus tu l'appelle souvent quand ce n'est pas nécessaire, plus tu gaspille du temps CPU, c'est pour ça que ça détruit les performance. Pourquoi on l'appelle explicitement pour certains test de performance? Pour être certains justement qu'il ne se déclenchera pas pendant la mesure! Exemple: je veux tester 200 fois un code qui manipule 50M de données en mémoire pour une mesure. Je vais entre chaque fois appeler le GC pour pas qu'au milieu de la deuxième exécution il se mette à utiliser du CPU pour nettoyer les 50M du test précédent. Cest cas d'utilisation son rare. La règle simple a applique c'est, si tu crois avoir besoin d'appeler GC, alors t'a certainement pas besoin de l'appeler! (aussi appelée règle du "touche pas à ça p'tit c****)

[lastrecrue]

@n1k00 : je comprend mieux ... merci ...