Discussion :

[nabich]

Bonjour,

J'ai un projet où je dois traiter des données d'une taille très grande (100 GO).
Ces données doivent être traitées (dézipage, vérification des paterns....) puis il seront stockées dans une base de données (oracle).

L'architecture que j'utilise, s'appuie sur les threads.
Pour l'accès à la base de données, j'utilise Hibernate.

Le problème : Lors de traitement des données, le programme s'arrête en affichant un Java Heap Space.

Donc, si vous avez une remarque qui pourra m'aider, je serai reconnaissant.

NB :
Je test des données de taille petite : 2 GO, et tout va bien.

Merci d'avance.

[thelvin]

Ben... De nos jours il est assez rare que les ordinateurs disposent de 100Go de RAM.
Il faut te débrouiller pour faire cette vérif sans charger tout en mémoire à la fois, seulement des petits bouts à la fois.

[tchize_]

Revoir tout votre code pour faire le traitement des données à la volée et non pas en chargeant tout en mémoire.

S'assurer aussi de créer de nombreuses sessions hibernate plutot qu'une globale. L'objet Session garde en mémoire tous les objets hibernate qu'il a rencontré.

A noter que si vous faites juste des insertions en base de donnée, hibernate n'est pas le framework le plus approprié.