Grosses collections et lazy : besoin d'explication

Bonjour à tous,

J'ai parcouru un peu les différents topics au sujet du lazy d'hibernate, mais j'ai encore du mal à bien utiliser hibernate pour de grosses sélections.
Donc j'ai un mapping de ce type :

Code:

---

1 2 3 4 5

<set name="probesetsOfCdf" lazy="extra" > <key column="pbset_cdf_id"/> <one-to-many class="app.Probeset"/> </set>

---

Donc ce set doit contenir plus de 50 000 élements, j'ai donc essayé de mettre le lazy à "extra" pour que cette portion de code fonctionne :

Code:

---

1 2 3

Set<Probeset> pbsets = cdf.getProbesetsOfCdf(); System.out.println("TEST CDF = " + pbsets.size());

---

Du coup, je pensais que c'était gagné, càd que j'ai enfin pu "charger" une grosse collection, mais en faisant :

Code:

---

1 2 3 4 5 6

Iterator iter = pbsets.iterator(); while (iter.hasNext()) { Probeset p = (Probeset)iter.next(); System.out.println(p.getPbsetName()); }

---

Et bien là, c'est le drame :

Citation:

---

java.lang.OutOfMemoryError: Java heap space

---

Donc voilà, comment fait-on pour travailler sur une grosse collection et pour que Hibernate se charge lui-même de charger les élements quand on en a besoin...C'est avec la configuration du lazy qu'on peut le faire?

Merci d'avance pour vos réponses.

Petite précision, c'est hibernate synchronizer sous Eclipse qui m'a généré l'ensemble des classes et j'ai donc surtout modifié les fichiers Hbm générés pour le mapping

Citation:

---

Envoyé par waflyx

Bonjour à tous,

J'ai parcouru un peu les différents topics au sujet du lazy d'hibernate, mais j'ai encore du mal à bien utiliser hibernate pour de grosses sélections.

…

Donc voilà, comment fait-on pour travailler sur une grosse collection et pour que Hibernate se charge lui-même de charger les élements quand on en a besoin...C'est avec la configuration du lazy qu'on peut le faire?

Merci d'avance pour vos réponses.

---

1. Hibernate n'est pas fait pour les (très) grosses collections… (et c'est expliqué dans la doc…)

2. Il existe des outils pour les manipulations de grosses collections, genre Spring-batch…

3. La doc donne quelques hints pour contourner le problème :

Code:

---

1 2 3 4 5 6

You can use a collection filter to get the size of a collection without initializing it: ( (Integer) s.createFilter( collection, "select count(*)" ).list().get(0) ).intValue() The createFilter() method is also used to efficiently retrieve subsets of a collection without needing to ini- tialize the whole collection: s.createFilter( lazyCollection, "").setFirstResult(0).setMaxResults(10).list();

---

3. Dans certaines situations, il y a moyen de s'en sortir en appliquant quelques patterns simples du style producteur/consommateur au niveau de la couche service (donc isolés du point vue transactionnel) qui travailleront sur des subsets de la collection. Cela implique "d'oublier" le côté One de la relation et d'accéder au côté Many "en direct" == sans passer par le champ "Collection" de la relation père mais par un query du genre "FROM DaughterClass WHERE itsOwner = :owner" + un filtre utilisant setFirstResult et setMaxResults …

4. Il n'est pas très difficile d'écrire sa propre classe "Collection" paginée, c'est juste un pattern un peu curieux car il doit avoir accès à la couche "repository" (celle que d'aucuns appellent improprement DAO…) alors qu'en général on essaie que ce soit le repository qui manipule son contenu et non l'inverse… (cette collection paginée pourra servir de brique pour le point 3…)

5. NB
a. utiliser le filtrage setFirstResult().setMaxResults() dans une boucle qui est elle-même dans une seule transaction ne résoud évidemment rien quant au "Out of memory"…
b. tout ceci implique que si les objets "fils" ont aussi des relations OneToMany vers des grosses collections, le même problème se posera plus loin (en "cascade" si l'on ose dire…)

6. Solution "idéale" :
que la collection paginée du point 4 remplace celle qu'Hibernate met en place en tant que proxy pour gérer les accès à la lazy Collection…
(gros travail…)

Bonjour ,
Merci beaucoup pour votre réponse, ça m'a très bien éclairci. Je vais d'abord tester la 3ème solution du coup.
bonne journée