Problème de performance sur une "grosse" BD

Bonjour,

Je rempli une base de donnée à partir d'un programme .NET

Tout fonctionnait bien jusqu'au moment où ma base de donnée à dépassé les 10Mo.


Je n'ai que 2 tables et chaqu'une a +- 75000 enregistrements.

J'ai installé le dernier EastPhp, le problème que j'ai est que ma base de donnée sera au final 8* plus grosses et que les select et les insert se font de + en + lentement. Mon cpu sature à 100%.

Y a-t'il des améliorations possibles? ou alors dois-je me tourner vers une autre base de donnée? (MSsql server)

Merci,

frechy

Il faudrait nous communiquer le design de la base (tables & index), ainsi que la description des accès aux données (insert en rafale?, requètes, etc...)

Voici la structure des tables

http://frechy.developpez.com/divers/mysql1.jpg
*****
http://frechy.developpez.com/divers/mysql2.jpg
*****
http://frechy.developpez.com/divers/mysql3.jpg


Je ne saurais pas vous montrer mes requettes pour l'instant, mais si je me souvient bien, je fais ceci:

- Ouverture connection
- Select
- Select
- Insert
- Select
- Insert
- Fermeture connection

Et je fais cette séquence en boucle, tout a très bien fonctionné jusqu'au moment où la taille à augmenté...[/img]

1er constat, le schéma n'a rien d'extraordinaire.

Pour l'enchainement des requètes, je vois bien la finalité (avec ma boule de cristal :wink: )...

ce qu'il manque, c'est des précisions sur les SELECT et d'éventuelles clauses WHERE qui mettraient en oeuvre des colonnes non indexées

Voici les requettes, je les reprend de mon programme, donc il y a des variables qui interviennent...logique :wink:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12

"SELECT COUNT(`Nom`) FROM `societes` WHERE `Nom` = '" + nom + "' AND `Adr` = '" + adr + "'";   //Si le count retourne 0   => "INSERT INTO `societes` ( `adrweb` , `Nom` , `Adr` , `Tel` , `Fax` , `EMail` , `Web` ) VALUES ('" + adrweb + "' , '" + nom + "' , '" + adr + "' , '','','" + mail + "','" + web + "')";   => "SELECT MAX(`IdSoc`) FROM `societes` WHERE 1" // ici je récupere l'Id qui vient d'etre créé lors du précédent insert (id autoincrement)     //Sinon (count a retourné >0)   => "SELECT IdSoc FROM `societes` WHERE `Nom` = '" + nom + "' AND `Adr` = '" + adr + "'";

---

A ce stade j'ai ajouté une société si elle n'existait pas et j'ai récupérer son Id. Si la société était déjà présente, alors j'ai récupérer son Id.

Maintenant j'ajoute une catégorie à la société (si cette société n'est pas déjà liée à cette catégorie)

Code:

---

1 2 3 4 5 6

"SELECT COUNT(`IdSoc`) FROM `catsoc` WHERE `IdSoc` = " + id + " AND `IdCat` = " + Cat;     //Si count = 0   =>"INSERT INTO `catsoc` ( `IdCat` , `IdSoc` ) VALUES (" + Cat + " , " + id + ")";

---

Il y a peut être moyen d'economiser les requettes, par exemple, lorsque je fais un insert, il y a peut être moyen de récupérer directement l'id créé (pour ne pas devoir faire un select MAX)

Ce qui me fait peur égallement, c'est que le nombre d'enregistrement n'augmente plus, est-ce que mysql arrete de compter apres une certaine taille?

J'ai oublié de préciser la configuration du "serveur"

P4 1.5Ghz
768 Ram
Win XP Pro sp2


Je pense que c'est sufisant pour une BD de 2 tables lol. Mais s'il le faut vraiment, je peux passer sur un Bi-Xeon avec MS sql server...mais bon est-ce que ca en vaut vraiment la peine?

Sans regarder les params de la base de donnees:

N'utilise pas la concatenation avec des +, mais avec un stringbuilder: c'est pas mysql qui rame c'est ton appli .net (tempete de strings pour le garbage collector)

http://msdn.microsoft.com/library/en-us/cpref/html/frlrfsystemtextstringbuilderclasstopic.asp

Citation:

---

Il y a peut être moyen d'economiser les requettes, par exemple, lorsque je fais un insert, il y a peut être moyen de récupérer directement l'id créé (pour ne pas devoir faire un select MAX)

---

Regarde du coté du Last_Insert_ID (en +, un select MAX est à proscrire sur une clé qui augmente, augmente, augmente )

Sinon, pour les select, il conviendrait d'indexer les colonnes participant aux clauses WHERE. Attention cependant à l'indexation de colonnes à "rallonge" suite à des pb évidents de performance.

De plus (pour la colonne Adr):

Citation:

---

Envoyé par Aide MySQL

Pour les colonnes CHAR et VARCHAR, les index peut être créés sur uniquement une partie de la colonne, avec la syntaxe col_name(length). Pour les colonnes BLOB et TEXT la longueur d'index est obligatoire

---

http://dev.mysql.com/doc/mysql/fr/create-index.html

Merci, je regarderai à ca demain.

Pour l'histoire du stringbuilder, je ne suis pas sur que celà pose problème car c'est mysqld.exe qui prend 100% du cpu.

Enfin si ca peut accélérer le traitement, je ferai la modification

J'ai rajouté un index sur nom et adresse.

Je suis passé à un temps d'execution de +- 900ms à +-10ms!!! 8)



Merci beaucoup