Discussion :

[Snooky68]

Bonjour à tous.

Je programme en python, et le programme conserné par ce problème à pour but de remplir un tableau excel!

Pour chaque case du tableau je doit faire une requete sql... une requete toute simple du type:
SELECT SUM('XXX') FROM XXX WHERE truc= truc and truc2 = 1..............
J'utilise donc des boucles.

Cette requete marche bien au debut du premier tableau, et puis elle devient de plus en plus lente! Mais vraiment........ vraiment............vr...ai....m...ent................ tres tres lente!
Apres quatre tableau je stop le programme... c'est vraiment trop lent!

J'ai mis certain champs en index (comme il se doit) mais sa n'arrange rien.
Je ne comprend pas!
Quelqu'un aurait il une idée?

[overider]

Salut


Pourquoi passer par Python? Excel sait récuperer les données d'un table mysql (grace à mysql_connector.)

Il nous faudrait la structure des tables concernes

[Snooky68]

J'ai pris vb (microsoft?) en grippe!

Non, sérieusement!
Tout le reste de l'application est en python, et les variables utilisé pour récupérer tel ou tel type de donnée sont dans des class python... je reste donc sur python par "commodité"!

Celà dit, et pour tester, j'ai recodé un petit "test" en vb... et le résultat est le même! Se qui me suggère que le problème viendrais de la base MySQL.

Pour se qui est de la structure...hmmm.... j'ai presque honte de vous montrer sa! C'est pas moi qui est fait la base, c'est une seul table avec 25 champs!
Tout les champs ne sont pas utilisé, et la base est remplie à partir de fichier csv que nous fournis le serveur. Bordelique quoi, et avec pas mal de champs test(que je n'utilise pas dans ce cas)!

J'ai aussi pu remarquer que durant les requetes le serveur utilise 50% des deux cpu.

Est-ce normal qu'il n'utilise pas 100%? (ou presque)
Est-ce le serveur qui n'arrive pas à suivre?

Merci.

[Snooky68]

Voilà quelque info sur la base de donnée et le "serveur" qui la fait tourner!

Base de donnée:

• Une seul table
• 800 000 enregistrements
• 190 Mio

Le serveur:

• windows serveur 2003
• Pentium 4: 3.40Ghz double coeur
• 1 Go RAM

La question, est-ce le serveur qui n'est pas assé puissant pour faire fonctionné le tout?

[ced]

Bonjour,

Ce qui, à mon avis, prend le plus de temps, ce sont les accès au serveur et les requêtes itératives.
Si j'ai bien compris, tu exécutes autant de requêtes que tu as de cellules à remplir. Ça veut dire à chaque fois un nouvel accès serveur, une connexion à la base et une nouvelle requête.

Personnellement, j'exécuterai une grosse requête une bonne fois pour toute, avec un peu plus de colonnes renvoyées, puis je traiterais ce résultat dans le langage de programmation pour insérer les valeurs souhaitées dans les cellules correspondantes. Un seul accès au serveur, une seule requête, et les temps de réponse sont grandement améliorés .

ced

[Snooky68]

J'ai déjà raccourcie un peut le temps de traitement en créant une connexion persistante avec le serveur! Ainsi la connexion ne s'effectue qu'une seul fois!

Pour se qui est de la requête... heu... je vois pas comment faire!

Donc, explication de mon tableau:
Il s'agit en faite d'un tableau d'encaissement!
En vertical, chaque ligne représente un jour du mois!
En horizontal, chaque colonne représente un type d'encaissement. (CB, mandats, cheque,.....)
Pour chaque type d'encaissement j'ai un montant encaissé(SUM), et le nombre d'encaissement(COUNT)!

Chaque requête est donc soumit à plusieurs clause WHERE date=...., type_encaissement=... qui sont variable et change pour chaque requête.
mais aussi client=...., lieux=...... qui change pour chaque tableau.

Quel méthode doit-je utiliser? Des sous-requêtes?