Discussion :

[lr]

Salut,

Je dois récupérer les données d'une table qui contient plusieurs centaines de milliers de lignes afin de générer des rapports.

Le problème c'est que j'obtiens systématiquement des OutOfMemoryError.

Comment traîter ce problème ?

J'ai essayé ça mais ça ne change rien :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
PreparedStatement statement = connection.prepareStatement( query, ResultSet.TYPE_FORWARD_ONLY, java.sql.ResultSet.CONCUR_READ_ONLY );
statement.setFetchSize( 1000 );
ResultSet resultSet = statement.executeQuery();

Merci d'avance
Lilian

[in]

à mon avis le problème mémoire ne vient pas de la requete mais du stockage des résultats ...

tu as mis un paramètre relatif à la mémoire pour le lancement (xms, xmx ?). Dans le cas contraire la mémoire utilisée pas java est 64 Mo je crois, donc si tu peux en mettre plus ...

[lr]

à mon avis le problème mémoire ne vient pas de la requete mais du stockage des résultats ...

tu as mis un paramètre relatif à la mémoire pour le lancement (xms, xmx ?). Dans le cas contraire la mémoire utilisée pas java est 64 Mo je crois, donc si tu peux en mettre plus ...

Merci pour ta réponse,

Effectivement ça vient du stockage en mémoire du résultat du select. En tout cas c'est mon impression.

Mais je doute que la solution soit d'augmenter la mémoire alloué à la VM car cette mémoire n'est pas infinie alors que le nombre de lignes de ma table...

Il me faudrait une vraie solution, je pourrais faire de la pagination en ajoutant des LIMIT et OFFSET à ma requête mais je préfèrerais éviter, je me dis que ça doit être une problématique classique et qu'il doit y avoir des solutions...

[in]

a mon avis si tu veux vraiment stocker "plusieurs centaines de milliers de lignes" en mémoire, il va falloir l'augmenter. Ya rien de choquant.

Ensuite comment stockes tu ces données (arbre, liste ordonnée ....) ça peut jouer pas mal. Ainsi que ce que représente une ligne ... si t'as des blob et des gros textes, c'est pas gagné.

Si tu ne veux pas augmenter la mémoire, tu n'as pas d'autre solution que de traiter morceaux par morceaux.

Y'a pas d'autre solution je pense. Et pour moi c'est une "vraie" solution
Qu'est ce que ce serait pour toi une "vraie" solution ?

[lr]

Je ne souhaite pas particulièrement les stocker en mémoire, j'ai juste besoin de pouvoir faire

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

statement.executeQuery()

puis des

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

resultset.next()

etc.

Avec ça je génère des PDF que j'écris sur le disque, je ne devrais pas avoir à tout stocker.

Mais je ne sais pas comment c'est implémenté dans java.sql, donc je ne sais pas si tout le résultat de la requête est stocké ou si les données sont récupérées au fur et à mesure que j'avance mon curseur avec next().

Je suis en train d'essayer en paginant en ajoutant des LIMIT et OFFSET à ma requête mais j'ai l'impression que je ne devrais pas avoir à faire ça

[in]

Mais je ne sais pas comment c'est implémenté dans java.sql, donc je ne sais pas si tout le résultat de la requête est stocké ou si les données sont récupérées au fur et à mesure que j'avance mon curseur avec next().

en fait tout n'est pas rapatrié d'un coup. Tu as une fetchsize qui est définie. Elle indique le nombre de lignes rapatriées par le ResultSet. Lors de l'appel à next sur la dernière ligne, il te rapatrie les suivantes. Tu peux essayer de le baisser pour voir si c'est mieux, ça va réduire la taille de l'objet ResultSet en mémoire.

Ton problème de mémoire vient peut être de la création du fichier pdf ? as tu essayer d'utiliser un outil de profilage pour suivre l'évolution de la conso mémoire ?