Discussion :

[istaccr]

Bonjour,

J'ai créé un programme java qui se connecte à une base de données distante. J'ai deux petits problèmes :

- Lorsque je fais une requete du type SELECT *, le temps pour executer cette commande en java est de plus de 2min. (Qu'il y ait 1 000 ou 100 000 lignes)

Y a t-il un moyen d'accélerer cette commande ? Quand je l'execute dans le logiciel qui gère la base de données, il faut à peine 1 seconde.

- Lorsqu'il y a plus de 2 millions de lignes, il y a une erreur OutOfMemoryError. Un résultset n'est pas censé garder qu'un bloc de lignes en mémoire ?

Merci

[adiGuba]

Salut,


On pourrait voir ton code...


a++

[istaccr]

Je mets juste la partie du code pour la connection à la base de données :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
 
Class.forName("com.mysql.jdbc.Driver").newInstance();
System.out.println("Driver charge !!");
 
conn = DriverManager.getConnection("jdbc:mysql://ip:port/DB", "login", "mdp");
System.out.println("Connexion etablie !!");
 
for (int ii = 0; ii<300; ii++) {
 
            String queryString = "SELECT `Code` FROM `data` GROUP BY `Code` ORDER BY `Code` LIMIT ?,?";
 
            PreparedStatement statement = conn.prepareStatement( queryString );
            statement.setInt(1, 1000*ii);
            statement.setInt(2, 1000*ii+999);
 
            resultat = statement.executeQuery();
            System.out.println("Requete OK !!");
 
            //Traitements sur le résultat de la requete
}

A chaque fois que j'appelle la méthode executeQuery(), il faut environ 2 à 3 min pour passer à la suite du code.

J'ai fait une boucle pour essayer de contourner le problème de OutOfMemory, pour ne pas charger tous les enregistrements d'un coup.

[adiGuba]

Est-ce que tu fermes bien les différents éléments (statement, resultset) ?

a++

[istaccr]

Merci beaucoup pour tes réponses très rapides.

Effectivement, je viens de vérifier, je ne les fermais pas... De plus, en relisant mon message, je me suis aperçu que je triais les enregistrements à chaque fois que j'executais la requete (ORDER BY) ... Sur une base de données de plusieurs millions de lignes, ça prend tout de suite du temps... Un problème de réglé.


Sinon maintenant, question rapidité, vaut-il mieux utiliser une boucle avec un LIMIT dans la requête, ou plutôt faire un SELECT * pour sélectionner tous les enregistrements en une seule fois ? A condition bien sur que je trouve d'où vient cette erreur de OutOfMemory ..

Merci encore pour tes réponses !

[adiGuba]

De plus, en relisant mon message, je me suis aperçu que je triais les enregistrements à chaque fois que j'executais la requete (ORDER BY) ... Sur une base de données de plusieurs millions de lignes, ça prend tout de suite du temps... Un problème de réglé.

Si tu as un index sur le champs cela ne devrait pas être si couteux je pense...

Sinon maintenant, question rapidité, vaut-il mieux utiliser une boucle avec un LIMIT dans la requête, ou plutôt faire un SELECT * pour sélectionner tous les enregistrements en une seule fois ?

Si tu veux récupérer tous les éléments je ne vois pas trop l'intérêt d'utiliser une boucle avec des LIMITs...

A condition bien sur que je trouve d'où vient cette erreur de OutOfMemory ..

Il faudrait voir le stacktrace complet de l'exception...


Sinon, quels traitements tu fais sur le résultat de la requete ?


a++