Discussion :

[woods]

Bonjour a tous,
J'ai un problème de temps de traitement d'un Resultset. Le résultat de la requete fait environ 100.000 lignes, l'éxecution de la requete est rapide (~1sec), le problème vient du fait que le traitement du ResultSet, copie des résultats dans un tableau, prend plusieurs minutes. Mon code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
while (rs.next()){
    m_tabEntries[id] = rs.getString(1);
    m_tabIds[id] = rs.getInt(2);
    id++;
}

Quelqu'un a-t-il une idée?
merci

[adiGuba]

Salut,

Tu n'a rien d'autre dans ton traitement
Parce qu'il n'y a rien de bien méchant dans ton code... à moins que les chaines de caractères que tu récupère ne soit vraiment énorme...

a++

[woods]

non, je n'ai que ca et les chaines de caractères font entre 2 et 20 caractères. Ca peut venir du nombre de lignes?

[jcarre]

c'est quoi ta base de données ?

[woods]

Mon SGBD? SQL server.

[woods]

J'ai fait quelques expériences, et je me suis rendu compte que quand j'effectuais des tests sur un serveur local, ca fonctionnait correctement. C'est quand j'effectue les requetes sur le serveur (relié par le réseau) que les requetes mettent beaucoup de temps à être exécutés. Des idées?

[adiGuba]

Il faudrait voir si tu as les mêmes problèmes réseaux avec d'autres applications...

Sinon quel est la version de ta JVM ?
Si tu as une JVM 5.0 inférieur à l'update 6, tu peux avoir des problèmes de latence sur un réseau Windows avec le protocole NetBIOS...

a++

[woods]

Pour la JVM, j'ai la dernière version.

En ce qui concerne les autres applications ce n'est pas le cas (mais les données sont beaucoup moins nombreuses et les requetes comportent beaucoup de jointures, ce qui n'est pas le cas la [select * from ma_table]).

[vbrabant]

Si je comprends bien, tu as une table avec 100.000 records.
Et tu récupères les 2 premiers éléments de chaque records.
Apparemment tu fais un select * from table.

1) Est-ce que la connection est ouverte en READ-ONLY ?
Ca va déjà accélérer les performances.
2) N'y a-t-il que 2 champs dans la table ?
Sinon, le select * from table va te ramener plus que 200.000 elements, alors que tu en utilises que 200.000

Aussi, si la connection réseau est lente, tu peux toujours augmenter le # de records à ramener en cache. En effet, tous les 100.000 records ne sont ramené en 1 secondes. Seuls X records sont ramenés et quand la cache est vide, le driver JDBC refait une transaction réseau avec la DB pour obtenir les X records suivants. Plus X est petis, plus il y a de transactions réseaux. Si tu sais à l'avance que tu auras un grand nombre, et que tu as la place mémoire, tu peux monter le nombre de records à ramener en cache.

Voilà quelques un de mes conseils.

Vincent

[jowo]

Pour compléter les conseils de vbrabant.

Voici un article (en anglais) sur les bonnes pratiques avec jdbc

[woods]

J'ai trouvé! il m'a suffit de remplacer cette ligne:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
Statement statement = connection.createStatement(ResultSet.TYPE_SCROLL_INSENSITIVE,
																   ResultSet.CONCUR_READ_ONLY);

Par celle ci:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
Statement statement = connection.createStatement(ResultSet.TYPE_FORWARD_ONLY,
																   ResultSet.CONCUR_READ_ONLY);

Résultat, requete + traitement 2m30s -> 15s. Merci de votre aide.