[MySQL 5.1.14] Import de dump très lent

Bonjour,

Je m'arrache les cheveux depuis quelques jours sur la config de MySQL (si c'est bien un probleme de config).

J’utilise un serveur sous Ubuntu avec un mySQL 5.1.41 et j'ai de gros soucis de lenteurs lors d'imports de données. Déjà les requêtes ne sont pas bien vives, mais les imports conséquents n'aboutissent carrément pas (en ligne de commande ou via PhpMyAdmin, donc probablement un soucis avec les insert, je vous laisse confirmer) ! Le log d'erreur est bien entendu vide ...

Le service se lance pourtant sans erreurs.

Avez vous des pistes particulières ? Besoin de mon my.cnf ?

Tenez moi au courant.

Bonne journée.

Quel volume fait le dump ?

Y aurait-il des gros blobs, ce qui est particulièrement une mauvaise idée !

Comment importes-tu les données ?

Merci pour ta réponse.

Non, pas de blob. La base fait environ 50Mo. J'ai l'impression que c'est les INSERT qui sont super longs.

J'ai essayé de basculer en MyIsam les tables dans le dump (via search & replace), mais c'est le même soucis ...

J'importe les infos en ligne de commande mais via PhpMyAdmin, c'est pareil, d'où l'idée des INSERT, car les méthodes d'import de PhpMyAdmin et de la ligne de commande sont assez différentes.

Un dump de données est une série d'INSERT. Quelle que soit l'interface utilisée pour importer ce dump, ce seront toujours des requêtes INSERT enchaînées.

50Mo, ça commence à faire un paquet d'INSERT quand même.

En principe, le dump désactive la vérification des clés étrangères le temps du script et la rétablit à la fin. Pour le vérifier, cherche SET FOREIGN_KEY_CHECK dans le script du dump.

Ce que tu peux faire aussi, c'est de supprimer les index le temps de l'import et de les rajouter après l'import. L'indexation sera faite en une seule fois au lieu qu'elle soit mise à jour à chaque requête INSERT.

C'est vrai que modifier le dump peut être une solution, cependant, les insert sur n'importe quoi ne sont pas vraiment vifs. Je pencherais en parallèle sur un problème de conf, de cache, ou autre chose venant du serveur lui même.

Je vais quand même modifier le dump pour le test, et je te dis.

Bon j'ai essayé diverses choses :

Par rapport à tes recommandations, j'ai supprimé la vérification des contraintes de clés étrangères (foreign_key_checks).

A côté de ça, j'ai trouvé pleins de LOCK dans mon dump, je les ai viré.

Une analyse de MysqlTuner a donné les résultats suivants :

Citation:

General recommendations:
Run OPTIMIZE TABLE to defragment tables for better performance
When making adjustments, make tmp_table_size/max_heap_table_size equal
Reduce your SELECT DISTINCT queries without LIMIT clauses
Variables to adjust:
tmp_table_size (> 16M)
max_heap_table_size (> 16M)
innodb_buffer_pool_size (>= 54M)

J'ai donc réalisé la config suivante :
(sûrement beaucoup, mais c'était pour tester)

Citation:

tmp_table_size = 128M
max_heap_table_size = 128M
innodb_buffer_pool_size = 256M

Et réalisé un optimize sur toutes mes tables, mais les tables étant en innoDB, je suis perplexe sur l'utilité ...

Sinon, voilà mon my.cnf :

Citation:

[client]
port = 3306
socket = /var/run/mysqld/mysqld.sock

# Here is entries for some specific programs
# The following values assume you have at least 32M ram

# This was formally known as [safe_mysqld]. Both versions are currently parsed.
[mysqld_safe]
socket = /var/run/mysqld/mysqld.sock
nice = 0

[mysqld]
local-infile=0
#
# * Basic Settings
#

#
# * IMPORTANT
# If you make changes to these settings and your system uses apparmor, you may
# also need to also adjust /etc/apparmor.d/usr.sbin.mysqld.
#

user = mysql
socket = /var/run/mysqld/mysqld.sock
port = 3306
basedir = /usr
datadir = /var/lib/mysql
tmpdir = /tmp
skip-external-locking
#
# Instead of skip-networking the default is now to listen only on
# localhost which is more compatible and is not less secure.
# bind-address = 127.0.0.1
#bind-address = 127.0.0.1
#
# * Fine Tuning
#
key_buffer = 16M
max_allowed_packet = 16M

thread_stack = 192K
thread_cache_size = 8
# This replaces the startup script and checks MyISAM tables if needed
# the first time they are touched
myisam-recover = BACKUP
#max_connections = 100
table_cache = 8192
table_definition_cache = 1024
#thread_concurrency = 10
#
# * Query Cache Configuration
#
query_cache_limit = 16M
query_cache_size = 32M
#
# * Logging and Replication
#
# Both location gets rotated by the cronjob.
# Be aware that this log type is a performance killer.
# As of 5.1 you can enable the log at runtime!
#general_log_file = /var/log/mysql/mysql.log
#general_log = 1

log_error = /var/log/mysql/error.log

# Here you can see queries with especially long duration
log_slow_queries = /var/log/mysql/mysql-slow.log
long_query_time = 2
log-queries-not-using-indexes

#
# The following can be used as easy to replay backup logs or for replication.
# note: if you are setting up a replication slave, see README.Debian about
# other settings you may need to change.
#server-id = 1

#max_connections = 100
table_cache = 8192
table_definition_cache = 1024
#thread_concurrency = 10
#
# * Query Cache Configuration
#
query_cache_limit = 16M
query_cache_size = 32M
#
# * Logging and Replication
#
# Both location gets rotated by the cronjob.
# Be aware that this log type is a performance killer.
# As of 5.1 you can enable the log at runtime!
#general_log_file = /var/log/mysql/mysql.log
#general_log = 1

log_error = /var/log/mysql/error.log

# Here you can see queries with especially long duration
log_slow_queries = /var/log/mysql/mysql-slow.log
long_query_time = 2
log-queries-not-using-indexes

#
# The following can be used as easy to replay backup logs or for replication.
# note: if you are setting up a replication slave, see README.Debian about
# other settings you may need to change.
#server-id = 1
log_bin = /var/log/mysql/mysql-bin.log
sync-binlog = 1
expire_logs_days = 10
max_binlog_size = 100M
#binlog_do_db = include_database_name
#binlog_ignore_db = include_database_name

#
# * Security Features
#
# Read the manual, too, if you want chroot!
# chroot = /var/lib/mysql/
#
# For generating SSL certificates I recommend the OpenSSL GUI "tinyca".
#
# ssl-ca=/etc/mysql/cacert.pem
# ssl-cert=/etc/mysql/server-cert.pem
# ssl-key=/etc/mysql/server-key.pem

tmp_table_size = 128M
max_heap_table_size = 128M
innodb_buffer_pool_size = 256M

[mysqldump]
quick
quote-names
max_allowed_packet = 16M

[mysql]
#no-auto-rehash # faster start of mysql but no tab completition

[isamchk]
key_buffer = 16M

#
# * IMPORTANT: Additional settings that can override those from this file!
# The files must end with '.cnf', otherwise they'll be ignored.
#
!includedir /etc/mysql/conf.d/

A proiri donc rien de tres exotique, pourtant cela n'a pas changé le résultat (même si ça n'a pas pu faire de mal ;))

EDIT :

Ca a l'air de passer avec ça dans le dump (transaction + suppression de certaines vérifications, cf preco mysql : http://dev.mysql.com/doc/refman/5.1/...db-tuning.html ):

Citation:

SET autocommit=0;
SET SQL_SAFE_UPDATES=0;
SET FOREIGN_KEY_CHECKS = 0;
SET unique_checks=0;

-- ...

COMMIT;

SET FOREIGN_KEY_CHECKS = 1;
SET SQL_SAFE_UPDATES=1;
SET unique_checks=1;
SET autocommit=1;