Discussion :

[Alkhan]

bonjour à tous,

j'ai un problème important avec le pilote JDBC d'Oracle. Je parcours une table de plusieurs millions d'enregistrement et lorsque j'utilise un ResultSet de type ResultSet.TYPE_SCROLL_INSENSITIVE.
Le problème existe que je sois avec un Statement ou un PreparedStatement et aussi avec un ResultSet de type ResultSet.TYPE_SCROLL_SENSITIVE.

Exemple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
Connection connection = DriverManager.getConnection(url, user, password);
Statement statement = connection.createStatement(ResultSet.TYPE_SCROLL_INSENSITIVE, ResultSet.CONCUR_UPDATABLE);
ResultSet rs = statement.executeQuery("SELECT * FROM MaTable");
while (rs.next()) {
}

J'imagine que le driver met en cache plus d'informations avec ce type de ResultSet mais je ne comprend pas pourquoi il va jusqu'au Heap Space !
Quelqu'un aurait il déjà été confronté au problème ?
Y a t'il un moyen de le résoudre ?

Merci d'avance

[fr1man]

Ben tu essaies de ramener trop d'informations, donc ça pète.
Essaie de filtrer ta requête, ou alors, utilise la pagination, tu ramènes un certain nombre d'éléments à chaque itération, mais tu ne gardes jamais tout en mémoire.

[tchize_]

plusieurs millions d'enregistrement

La réponse est dans la question. à 1k l'enregistement (borne vachement basse) il te faudra plusieurs Giga de ram pour stocker ces données.

[Alkhan]

Merci pour vos réponse !

D'après ce que vous me dite, il est donc impossible de parcourir plusieurs millions d'enregistrements grâce à une seule requête !

...ou alors, utilise la pagination, tu ramènes un certain nombre d'éléments à chaque itération ...

Le principe de la pagination, si je ne me trompe pas est que je suis obligé :
- faire une boucle correspondant à chaque pages
- lancer une requête pour les enregistrement de la page
- boucler sur les enregistrements de la page

Et si je ne peux pas faire ça je n'est aucune autre possibilité, pour éviter que le driver n'explose la mémoire ?

[tchize_]

ce qui n'est pas possible, c'est de le faire en demandant au driver d'avoir un resultset qu'on peux explorer (TYPE_SCROLL_INSENSITIVE, CONCUR_UPDATABLE), car ça nécessite que le driver garde en mémoire au fur et à mesure ce qui arrive du serveur.

Tu peux bien sur parcourir tes millions d'enregistrement, ce que tu ne peux pas faire c'est les conserver tous en mémoire

[Alkhan]

Merci pour ces réponses !

Je vais me débrouiller différemment.