Problème avec le tas

Version imprimable

24/10/2011, 00h12
Mopmop

Problème avec le tas
Bonjour,

J'ai un petit soucis de mémoire... j'ai une application qui fait prend une base d'environ 500 titres de films et va chercher les informations sur allocine.

Seulement au bout de 150-200 trouvailles, je me mange un joli "java.lang.OutOfMemoryError : Java heap space" :aie:.

Qu'à cela ne tienne me suis-je dit, j'ai mis quelques traces à base de Runtime, ce qui m'a permis de me rendre compte que le problème vient "petit à petit", c'est à dire que c'est pas une seule recherche qui me bouffe mes 60Mo, mais je perds un peu de terrain au fur et à mesure.

En plus c'est même pas régulier, c'est une augmentation en dent de scie, je perds 4Mo, j'en regagne 2, j'en reperds un peu, j'en gagne 2 fois... mais globalement je me fais grignoter mon tas :cry:.

Ma question est donc simple : dans le but de trouver l'origine du drame, quelle est la procédure à suivre? Que me conseillez vous ? Parce que j'ai moyennement envie de mettre de la trace de partout sans trop savoir ou chercher...

D'où peut venir ce problème ? Enfin, quelles sont les raisons les plus courantes ? Histoire que je sache vers où chercher...

Typiquement l'algo est le suivant
Code:

1 2 3 4 5 6 7 8 for each titre { String = pageAllocine (titre) Creation d'un objet "Film" parsage du String pour mettre les infos dans cet objet téléchargement de l'affiche du film }
Merci d'avance !
24/10/2011, 01h06
thelvin

Honnêtement, dans ces cas-là, je me prends un profiler et je regarde ce qu'il a à me dire sur qu'est-ce qui bouffe le plus de mémoire et qu'est-ce qui le crée, pourquoi c'est pas garbage-collecté.

Un truc qui m'est déjà arrivé, avec un pseudocode semblable au tien, c'est que "parsage de la page" produisait en fait des substring() de la page entière téléchargée, qui était assez massive car pleine de trucs inutiles. Or les substring() ne sont que des String pointant vers la String de départ, et indiquant où ça commence et où ça s'arrête. La String de départ (la page entière !) est donc gardée en mémoire aussi longtemps que les infos utiles le sont.

Pour corriger, j'avais fait :
- new String() sur chacun des substring() ainsi créées, pour les obliger à éliminer leur référence à la String de départ.

- Plus tard j'ai pris un parseur thirdparties pour le format de données en question, m'évitant de parser moi-même. Et lui, les String qu'il extrayait n'étaient pas des substring().
24/10/2011, 01h11
Mens Pervincet

150-200 itérations, ça paraît assez peu, le memory leak doit être gigantesque :aie:
Lorsque tu télécharges les affiches de film, tu les stockes sur le file system et n'en gardes que le chemin ? Tu libères bien toutes tes flux ? Une fois l'objet Film construit, la String contenant la page est Garbage collectable ?
24/10/2011, 02h09
Mopmop

Citation:

Envoyé par thelvin

Un truc qui m'est déjà arrivé, avec un pseudocode semblable au tien, c'est que "parsage de la page" produisait en fait des substring() de la page entière téléchargée, qui était assez massive car pleine de trucs inutiles. Or les substring() ne sont que des String pointant vers la String de départ, et indiquant où ça commence et où ça s'arrête. La String de départ (la page entière !) est donc gardée en mémoire aussi longtemps que les infos utiles le sont.

Pour corriger, j'avais fait :
- new String() sur chacun des substring() ainsi créées, pour les obliger à éliminer leur référence à la String de départ.

Je pressentais que mon problème venait de cette gestion des String... jvais tenter de placer quelques new String() de-ci de-là, ça va sans doute résoudre le problème.

Qu'est ce que t'appelle un profiler ?

Citation:

Envoyé par thelvin

- Plus tard j'ai pris un parseur thirdparties pour le format de données en question, m'évitant de parser moi-même. Et lui, les String qu'il extrayait n'étaient pas des substring().

C'est quoi un parseur thirdparties ? Google est pas très bavard à ce sujet...

Citation:

Envoyé par Mens Pervincet

150-200 itérations, ça paraît assez peu, le memory leak doit être gigantesque :aie:
Lorsque tu télécharges les affiches de film, tu les stockes sur le file system et n'en gardes que le chemin ? Tu libères bien toutes tes flux ? Une fois l'objet Film construit, la String contenant la page est Garbage collectable ?

150 - 200 itérations c'est pas énorme en effet mais je récupère un code html complet d'une page allociné à chaque tour, donc je peux comprendre que si je libère pas ça plantouille au bout d'un moment.
Je pense pas que les affiches soient un problème car elles sont relativement petites ( environ 2Mo pour 150 affiches).
Comme dit ci-dessus, le problème doit effectivement venir des String qui ne sont pas garbage-collectables. D'ailleurs, ya un moyen pour savoir si un objet est garbage-collectable ou faut juste faire gaffe à supprimer tout ce qui pointe dessus ?

Thx :ccool:
24/10/2011, 09h11
adiGuba

Salut,

Citation:

Envoyé par Mopmop

Comme dit ci-dessus, le problème doit effectivement venir des String qui ne sont pas garbage-collectables. D'ailleurs, ya un moyen pour savoir si un objet est garbage-collectable ou faut juste faire gaffe à supprimer tout ce qui pointe dessus ?

Un objet est "garbage-collectable" à partir du moment où il n'y a plus aucune référence vers lui...

Donc il faut surtout regarder les données qui sont stocké dans ta boucle. Tu les stockes où toute ces informations ???

a++
24/10/2011, 12h26
Mopmop

Citation:

Envoyé par adiGuba

Salut,

Un objet est "garbage-collectable" à partir du moment où il n'y a plus aucune référence vers lui...

Donc il faut surtout regarder les données qui sont stocké dans ta boucle. Tu les stockes où toute ces informations ???

a++

Voué je sais bien, mais ce que je voulais savoir c'est s'il y a un moyen de s'assurer qu'il est garbage-collectable (avec un IDE par exemple) ou s'il n'y a pas d'autre moyen que de faire bien gaffe à virer toutes les références.
Les infos je les stocke dans mes objets "Film". Mais du coup effectivement, avec les substring qui gardent la String entière en mémoire, au lieu de stocker juste l'année de sortie du film je stocke la page HTML complète, c'est caca !

Je vais donc modifier ça et je reviens crier victoire dans quelques minutes/heures :mrgreen:
24/10/2011, 12h49
Mopmop

Victoire :mrgreen::mouarf:.

Mais du coup une petite question se pose : mes objets String ont fait exploser mon tas, du coup je me dis que mes objets film peuvent le faire aussi non ?

Genre 20th century fox tombe amoureux de mon magnifique logiciel et veut le faire tourner sur sa base de films... admettons.
En plus, pas de chance, ils ont acheté tous les films du monde... admettons.
Du coup ça tourne sur 30 millions de films et je créé donc 30 millions d'objets "film"... boom ou pas boom ? Les objets restent définitivement sur le tas ?

A+
24/10/2011, 14h02
Mens Pervincet

Ben dans ces cas là il te faut persister tes objets films en base de données au fur et à mesure, et les récupérer quand t'en as besoin.
24/10/2011, 15h36
Mopmop

Moké... bon j'en suis pas encore là donc ça va ^^.

Merci tout le monde, ça fonctionne bien... sauf que maintenant un autre problème survient ! Quand je ferme l'appli, j'enregistre tout dans un joli XML pour pouvoir récupérer ensuite. Quand je parse ce fichier si j'ai - de 500 films j'ai pas de problème, mais si j'en ai plus je retrouve mon copain le "java.lang.OutOfMemoryError : Java heap space"... Je vais donc devoir chercher par la, je reviendrais vous embêter si j'ai pas réussi.

A+