Discussion :

[Ekimasu]

bonjour à tous,

j'ai un problème (sans blague?) lourd.

J'ai un fichier de 250 Mo contenant un ensemble de requêtes (environ 1,5 millions) qui doivent être éxécutées.
Son exécution qui se fait par la commande 'mysql...<dump toto.sql', se déroule trop longuement...
si c'était une fois ça passerait mais ça doit se faire chaque nuit.

Avec phpmyadmin, en faisant un refresh toutes les secondes, je constate qu'il y a 100 requêtes d'éxécutées à la seconde (car je vois le nombre de tuples augmenté de 100).

je trouve cela extremement lent car la config matériel est tres bonne (serveur dédié à 2Go RAM , cpu xeon, sous linux debian).

alors je me dit qu'il y a un problème quelque part.
-soit ça vient du fichier dumpé qui est trop gros (mysql ramerait avec un dump de 250Mo ??)
-soit ce sont mes requêtes qui sont trop longues. ces dernieres sont des simplettes (50% d'insert, 50% de update monotable à 1 seule condition)

Donc je me pose des questions....
En faisant un 'top' (sous linux), je m'aperçois que le process mysql ne dépasse pas 128M et prend 80% du CPU.
y-a-t-il un goulot d'étranglement quelque part ?
y-a-t-il un paramètre pour lui dire de prendre plus de 128Mo si ça peut le faire aller plus vite ?

avez vous des idées ?

[qi130]

Y a t'il des commits effectués de temps en temps ?

[Ekimasu]

bonjour,

non il n'y a aucun commit.
pensez-vous qu'il fasse en rajouter pour que ça aille plus vite ?

[qi130]

Ca me semble 1 bonne idée, pour autant que ce process de chargement l'autorise...

Si ces requètes font partie d'une seule unité d'oeuvre, c'est impossible: toutes les mises à jour doivent être faites, ou aucune. Ces mises à jour sont à inclure dans la même transaction.

Dans le cas contraire, il faut commiter de temps en temps afin de libérer les fichiers de journalisation. S'il n'y a pas de commit, le SGBD passe de +en + de temps à journaliser au détriment des mises à jour.

[Ekimasu]

bonjour,

je viens de mettre des
START TRANSACTION et des COMMIT toutes les 10 lignes;

ça va un poil plus vite, il n'y a rien de flagrant.

d'autre solution ....?

[qi130]

toutes les 10 lignes;

Faut quand même pas exagérer....

1000 me parait plus optimisé, mais peut-être qu'avec 2000 ou 5000 c'est mieux.
Il n'y a pas de recette miracle pour ajuster ce nombre.

Par contre, je ne suis pas sûr que le START TRANSACTION explicite soit une bonne chose.
http://dev.mysql.com/doc/refman/5.0/...it-commit.html