gestion de base de donnees

Bonjour,
supposons que je veux recuperer dans un ResultSet, 100000 enregistrements d une table qq de ma base de donnees, dans ce cas vu le nombre important des enregistrements(100000), pe etre qu il y aura une saturation memoire. pour cela est ce qu il y a un moyen de s enfuir de la stauration memoire ou bien, au lieu de recupeprer dans un seul coup les 100000 enregistrements, est ce qu on pe recuperer par lot les 100000 enregistrements.
Merci

Tu peux utiliser dans tes requetes l' "operateur" LIMIT.
Il n'est pas traité toujours de la meme maniere selon les SGBD. (a verifier dans la section du forum sgbd)

Sinon en pratique, je n'ai pas rencontré de limite ou de ralentissement trop important sur des requetes renvoyants enormement de resultat.

Bonjour,

LIMIT si je ne m'abuse, est proprio MYSQL.
Si tu ne veux pas rendre ton code dépendant d'un SGBD utilises plutôt la méthode setMaxRows (int) de l'interface Statement.

Bonjour,
oui j ai essaye avec LIMIt et c etait bien marche, mai il me reste un probleme c comment recuperer le reste des enregistrements.

java.sql.Statement méthode setFetchSize(nombreRes)

Effectivement tu as deux façons de le faire, soit en propriétaire MySQL, soit en générique Java.

Dans le premier cas, LIMIT peut prendre deux nombres derrière qui sont le dans l'ordre le numéro de départ puis le nombre d'enregistrements à récupérer.

Dans le second, setFetchSize et setMaxRows permettent de définir les deux nombres en question.

Avantages et inconvénients des deux méthodes ?
Dans un cas tu es dépendant de la base et pas dans l'autre. Mais dans le cas où tu es dépendant tu peux aussi récupérer le nombre d'enregistrements au total sans avoir pour cela besoin de faire une requête de count séparée (voir doc MySQL (SQL_CALC_FOUND_ROWS))

Citation:

---

Dans le second, setFetchSize et setMaxRows permettent de définir les deux nombres en question.

---

Pas tt à fait.
setMaxRows () va limiter physiquement le nbre de lignes ramenées depuis la base par la requête.
setFetchSize () est plus à voir comme 1 ''facteur de blocage'' qui limite la taille du resultset. Ttes les lignes vont bien être extraites de la base par la requête, mais elle seront (théoriquement) chargées ds le resultset bloc par bloc lorsque la classe java en fera la demande, ie 1 nouveau bloc vient alimenter le resultset lorque la classe java a consommé ttes les lignes du précédent.
En pratique, vérifier la correcte implémentation par Driver.

Bonsoir,
j ai essaye aussi la methode setFetchSize, mai toujours la meme chose, puisqu il selectionne seulement qq enregistrements et non pa la totalite des enregistrements. par exemlpe si je lance une requete dans une table intitule element la requete sera donc "select * from element", et supposons que le resultat retourne sera 200 enregistrements.
comment je pe utilise limit, pour visiter 20 à 20 les 200 enregistrements.
Merci.

Bonsoir,
j ai essaye aussi la methode setFetchSize, mai toujours la meme chose, puisqu il selectionne seulement qq enregistrements et non pa la totalite des enregistrements. par exemlpe si je lance une requete dans une table intitule element la requete sera donc "select * from element", et supposons que le resultat retourne sera 200 enregistrements.
comment je pe utilise limit, pour visiter 20 à 20 les 200 enregistrements.
Merci.

Avec limit tu fais une première fois ta requête limit 0,20 puis une seconde fois avec 20,20 puis encore avec 40,20 etc... jusque 180,20
Voir http://dev.mysql.com/doc/refman/5.0/fr/select.html

Re,

Citation:

---

j ai essaye aussi la methode setFetchSize, mai toujours la meme chose, puisqu il selectionne seulement qq enregistrements et non pa la totalite des enregistrements.

---

Tu peux mettre ton code ? Parce qu'au pire il devrait ne pas tenir compte du paramètre et tt te retourner. Ca me semble étonnant qu'il tronque le resultSet.

Citation:

---

Avec limit tu fais une première fois ta requête limit 0,20 puis une seconde fois avec 20,20 puis encore avec 40,20 etc... jusque 180,20

---

C'est exactement ce que tu vas obtenir en utilisant setFetchSize ().

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13

Connection c; Statement s; ResultSet rs; String query; int fetchSize; [...] fetchSize = 3; c = DriverManager.getConnection (...); s = c.createStatement (...); s.setFetchSize (fetchSize); query = "SELECT * FROM Table1;"; rs = s.executeQuery (query); [...]

---

chaque fois que tu as besoin d'afficher 1 nvelle page, tu n'appelles pas executeQuery (), mais tu appelles 1 méthode de ce genre là

Code:

---

1 2 3 4 5 6 7

while ( i < fetchSize) { while ( i++ < fetchSize && rs.next ()) { System.out.println (rs.getDate (1)); } }

---

Pour l'exemple j'ai mis la même valeur à ce qui est ''affiché'' et a fetchSize parce qu c'est plus logique, mais il n'y a aucune obligation. 1 nouveau bloc sera chargé à chaque fois que la classe aura consommé ttes les lignes du précédent.
Physiquement ça se traduit par 1 série d'échanges comme ça. On voit bien que seulement 3 records sont retournés à chaque fois.

Citation:

---

handler=org.postgresql.jdbc2.AbstractJdbc2Statement$StatementResultHandler@1fcf0ce,maxRows=0, fetchSize=3, flags=9
FE=> Parse(stmt=S_2,query="SELECT * FROM Table1",oids={})
FE=> Bind(stmt=S_2,portal=C_3)
FE=> Describe(portal=C_3)
FE=> Execute(portal=C_3,limit=3)
FE=> Sync
<=BE ParseComplete [S_2]
<=BE BindComplete [C_3]
<=BE RowDescription(2)
<=BE DataRow
<=BE DataRow
<=BE DataRow
<=BE PortalSuspended
<=BE ReadyForQuery(T)
2000-01-01
2000-01-02
2000-01-03
FE=> Execute(portal=C_3,limit=3)
FE=> Sync
<=BE DataRow
<=BE DataRow
<=BE DataRow
<=BE PortalSuspended
<=BE ReadyForQuery(T)
2000-01-04
2000-01-05
2000-01-06
FE=> Execute(portal=C_3,limit=3)
FE=> Sync
<=BE DataRow
<=BE CommandStatus(SELECT)
<=BE ReadyForQuery(T)
2000-01-07

---

A +