Discussion :

[gargantua]

Bonjour à tous,

j'ai une application dans laquelle je récupère une collection d'objet en fonction de certain critère définit.

Mon problème, c'est que le nombre de résultat de la requête est trop important (~300 000 objets) et provoque un java.lang.OutOfMemoryError.

Je précise que j'ai déjà étendu la mémoire allouer à Java (1Go, je ne peux mettre +), et que je suis en lazyload.

Comme il s'agit essentiellement de traitement dans des batch, j'avais pour certain contourné le problème en modifiant mes requêtes et mon code pour ne retourner que N résultat, et avec une boucle pour faire une nouvelle requête pour les N suivant (etc.) en faisait un commit à chaque itération de cette boucle.

Si ça marche, la solution n'est pas bien élégante à mon gout, et nécessite pas mal de changement (réécriture des requêtes).

J'aimerai savoir s'il y a un mécanisme d'Hibernate qui permettrait de charger les résultat petit à petit pour éviter d'exploser la mémoire avec l'instanciation de tous les objets d'un coup ?
Si ça existe, je n'ai rien trouvé

Merci

[JeitEmgie]

Bonjour à tous,

j'ai une application dans laquelle je récupère une collection d'objet en fonction de certain critère définit.

Mon problème, c'est que le nombre de résultat de la requête est trop important (~300 000 objets) et provoque un java.lang.OutOfMemoryError.

Je précise que j'ai déjà étendu la mémoire allouer à Java (1Go, je ne peux mettre +), et que je suis en lazyload.

Comme il s'agit essentiellement de traitement dans des batch, j'avais pour certain contourné le problème en modifiant mes requêtes et mon code pour ne retourner que N résultat, et avec une boucle pour faire une nouvelle requête pour les N suivant (etc.) en faisait un commit à chaque itération de cette boucle.

Si ça marche, la solution n'est pas bien élégante à mon gout, et nécessite pas mal de changement (réécriture des requêtes).

J'aimerai savoir s'il y a un mécanisme d'Hibernate qui permettrait de charger les résultat petit à petit pour éviter d'exploser la mémoire avec l'instanciation de tous les objets d'un coup ?
Si ça existe, je n'ai rien trouvé

Merci

http://java.dzone.com/articles/hiber...-queries-using

ou :
développez votre propre classe "PagedList"

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
public class PagedList<T> extends AbstractList<T> {

qui devra avoir connaissance de votre classe Repository (ou DAO suivant votre convention de vocabulaire…) et gérera donc les "missed hits"…

ou :
il est possible d'arriver à de bons résultats aussi en architecturant la solution avec une couche Service (qui sera la couche Secured et Transactional) qui reçoit en paramètre un DataWriter ou un DataReader (suivant que votre besoin concerne un bacth "export" ou " import" …)
le DataWriter/Reader s'interfaçant avec la couche Repository pour fetcher par lots les données…

ou:
SpringBatch

[fr1man]

J'ai du rater quelque chose, mais utiliser les deux méthodes suivantes n'est pas suffisant ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
q.setFirstResult(20);
q.setMaxResults(10);

Après une bonne boucle et le tour est joué. Il n'y a pas besoin de réécrire de requête.
Et cela ne me parait pas spécialement sale.

[gargantua]

J'ai du rater quelque chose, mais utiliser les deux méthodes suivantes n'est pas suffisant ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
q.setFirstResult(20);
q.setMaxResults(10);

Après une bonne boucle et le tour est joué. Il n'y a pas besoin de réécrire de requête.
Et cela ne me parait pas spécialement sale.

C'est ce que j'ai fait là ou j'ai déjà fait des modifs mais le truc qui ne me plait pas trop ou qui est simplement pénible :
- il faut changer tous les prototypes (et les interfaces) des différentes couches
- les requêtes sont parfois utilisés ailleur (avec des critères différents, qui ne provoque pas le problème énnoncé), donc soit je change les appels de partout, ça je créé de nouvelle méthode à gogo.

Mais c'est sur que ça marche en effet.


JeitEmgie, merci, je vais aller regarder ça.

[gargantua]

Je suis tombé sur l'objet org.Hibernate.ScrollableResults qui est un itérateur sur les résultats, mais les infos que j'ai trouvé sont floues pour moi.

Quelqu'un c'est comment cela fonctionne au niveau des requêtes vers la base ?
ça remonte quand même en mémoire tous résultats de la requête ?
Est-ce qu'il y a une requête à chaque fois qu'on fait un .next() ?


Merci