Discussion :

[hamma2]

Bonjour,
supposons que je veux recuperer dans un ResultSet, 100000 enregistrements d une table qq de ma base de donnees, dans ce cas vu le nombre important des enregistrements(100000), pe etre qu il y aura une saturation memoire. pour cela est ce qu il y a un moyen de s enfuir de la stauration memoire ou bien, au lieu de recupeprer dans un seul coup les 100000 enregistrements, est ce qu on pe recuperer par lot les 100000 enregistrements.
Merci

[eclesia]

Tu peux utiliser dans tes requetes l' "operateur" LIMIT.
Il n'est pas traité toujours de la meme maniere selon les SGBD. (a verifier dans la section du forum sgbd)

Sinon en pratique, je n'ai pas rencontré de limite ou de ralentissement trop important sur des requetes renvoyants enormement de resultat.

[TheLeadingEdge]

Bonjour,

LIMIT si je ne m'abuse, est proprio MYSQL.
Si tu ne veux pas rendre ton code dépendant d'un SGBD utilises plutôt la méthode setMaxRows (int) de l'interface Statement.

[hamma2]

Bonjour,
oui j ai essaye avec LIMIt et c etait bien marche, mai il me reste un probleme c comment recuperer le reste des enregistrements.

[professeur shadoko]

java.sql.Statement méthode setFetchSize(nombreRes)

[chtig]

Effectivement tu as deux façons de le faire, soit en propriétaire MySQL, soit en générique Java.

Dans le premier cas, LIMIT peut prendre deux nombres derrière qui sont le dans l'ordre le numéro de départ puis le nombre d'enregistrements à récupérer.

Dans le second, setFetchSize et setMaxRows permettent de définir les deux nombres en question.

Avantages et inconvénients des deux méthodes ?
Dans un cas tu es dépendant de la base et pas dans l'autre. Mais dans le cas où tu es dépendant tu peux aussi récupérer le nombre d'enregistrements au total sans avoir pour cela besoin de faire une requête de count séparée (voir doc MySQL (SQL_CALC_FOUND_ROWS))

[hamma2]

Bonsoir,
j ai essaye aussi la methode setFetchSize, mai toujours la meme chose, puisqu il selectionne seulement qq enregistrements et non pa la totalite des enregistrements. par exemlpe si je lance une requete dans une table intitule element la requete sera donc "select * from element", et supposons que le resultat retourne sera 200 enregistrements.
comment je pe utilise limit, pour visiter 20 à 20 les 200 enregistrements.
Merci.

[hamma2]

Bonsoir,
j ai essaye aussi la methode setFetchSize, mai toujours la meme chose, puisqu il selectionne seulement qq enregistrements et non pa la totalite des enregistrements. par exemlpe si je lance une requete dans une table intitule element la requete sera donc "select * from element", et supposons que le resultat retourne sera 200 enregistrements.
comment je pe utilise limit, pour visiter 20 à 20 les 200 enregistrements.
Merci.

[chtig]

Avec limit tu fais une première fois ta requête limit 0,20 puis une seconde fois avec 20,20 puis encore avec 40,20 etc... jusque 180,20
Voir http://dev.mysql.com/doc/refman/5.0/fr/select.html

[TheLeadingEdge]

Re,

j ai essaye aussi la methode setFetchSize, mai toujours la meme chose, puisqu il selectionne seulement qq enregistrements et non pa la totalite des enregistrements.

Tu peux mettre ton code ? Parce qu'au pire il devrait ne pas tenir compte du paramètre et tt te retourner. Ca me semble étonnant qu'il tronque le resultSet.

Avec limit tu fais une première fois ta requête limit 0,20 puis une seconde fois avec 20,20 puis encore avec 40,20 etc... jusque 180,20

C'est exactement ce que tu vas obtenir en utilisant setFetchSize ().

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
Connection c;
Statement s;
ResultSet rs;
String query;
int fetchSize;		
[...]
fetchSize = 3;
c = DriverManager.getConnection (...);
s = c.createStatement (...);
s.setFetchSize (fetchSize);
query = "SELECT * FROM Table1;";
rs = s.executeQuery (query);
[...]

chaque fois que tu as besoin d'afficher 1 nvelle page, tu n'appelles pas executeQuery (), mais tu appelles 1 méthode de ce genre là

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
while ( i < fetchSize)
{
	while ( i++ < fetchSize && rs.next ())
	{
		System.out.println (rs.getDate (1));
	}
}

Pour l'exemple j'ai mis la même valeur à ce qui est ''affiché'' et a fetchSize parce qu c'est plus logique, mais il n'y a aucune obligation. 1 nouveau bloc sera chargé à chaque fois que la classe aura consommé ttes les lignes du précédent.
Physiquement ça se traduit par 1 série d'échanges comme ça. On voit bien que seulement 3 records sont retournés à chaque fois.

handler=org.postgresql.jdbc2.AbstractJdbc2Statement$StatementResultHandler@1fcf0ce,maxRows=0, fetchSize=3, flags=9
FE=> Parse(stmt=S_2,query="SELECT * FROM Table1",oids={})
FE=> Bind(stmt=S_2,portal=C_3)
FE=> Describe(portal=C_3)
FE=> Execute(portal=C_3,limit=3)
FE=> Sync
<=BE ParseComplete [S_2]
<=BE BindComplete [C_3]
<=BE RowDescription(2)
<=BE DataRow
<=BE DataRow
<=BE DataRow
<=BE PortalSuspended
<=BE ReadyForQuery(T)
2000-01-01
2000-01-02
2000-01-03
FE=> Execute(portal=C_3,limit=3)
FE=> Sync
<=BE DataRow
<=BE DataRow
<=BE DataRow
<=BE PortalSuspended
<=BE ReadyForQuery(T)
2000-01-04
2000-01-05
2000-01-06
FE=> Execute(portal=C_3,limit=3)
FE=> Sync
<=BE DataRow
<=BE CommandStatus(SELECT)
<=BE ReadyForQuery(T)
2000-01-07

A +