Discussion :

[mysianne]

Bonjour,
je me trouve confronté à une situation de OutOfMemoryError. le fait est que j'essai de charger une table qui contient 128000 enregistrement provenant d'une base de données postgres. via cette requête:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
List result=null ; 
         result = session.createCriteria("MaClasse").list()

le problème est qu'au bout de 15min (temps que trouve extrèmement long, j'ai une erreur OutOfMemoryError) .
le heap de ma JVM est paramétré a une taille max de 515M, et lorsque j'évalue, chaque objet des 128000 renvoyé par postgres, j'ai une taille d'environ 48 octect ce qui théoriquement ferrait 6 144 000 octets donc un peu plus de 6M.
arrêtez-moi si je me trompe.
la session hibernate constitue le cache d'objet. avec un ejb statefull, c'est le serveur qui crée et détruit la session à chaque requête (donc le cache doit être vidé par le GC)
pourquoi ais-je cette erreur? alors que les données que je charge ont une très faible taille?

[_skip]

Je connais pas super bien hibernate et tout son bordel de cache mais il y a un truc qui peut t'être utile avec les grosses requêtes:

Par défaut, le driver JDBC de postgres cache localement tous les résultats de ta requête (tes 128k lignes) avant de donner la main au code qui fait l'itération du resultset.
Ca veut dire que tu peux déjà gagner pas mal si tu spécifies un setFetchSize par exemple de 1000, quasiment presque diviser par 2 le pic mémoire.

[tchize_]

lorsque j'évalue, chaque objet des 128000 renvoyé par postgres, j'ai une taille d'environ 48 octect ce qui théoriquement ferrait 6 144 000 octets donc un peu plus de 6M.
arrêtez-moi si je me trompe.

On peux voir ton objet, je serais plutot pour une évaluation minimuml de 120 /150 octets par instance créée, mais il faut voir l'objet pour plus de détails.

Aussi, pourquoi avoir besoin de ces 128.000 objets en mémoire?

A noter que tu peux utiliser setFirstResult et setMaxResult sur l'instance de criteria pour paginer tes données.

[mysianne]

Merci vous avez bien raisons. ce n'est pas du tout normal de vouloir garder un aussi grand nombre d'objet en mémoire. j'ai fait un tes dans une application java simple en essayant d'instancier ces 128000 objets, après plus de 25min, l'opération n'était pas toujours terminer.
En effet, ce test avait pour but de m'aider à apprécier le temps de chargement d'une grande quantité de données. que je vais utiliser dans mon appli pour faire des calculs (sur chaque instance). mais je crois que la solution est de passer par une procédure stockée dans postgres pour faire tous les calculs et de restituer l'ensemble des résultat en jouant avec setFirstResult et setMaxResult.