Version imprimable
Salut à tous, je suis noueau dans le forum, j'ai des fichiers de 10Mo k j dois parser et inserer dans une base de données mysql, le probleme est que pour les insertion ça prends un temps enorme de 30 minute pour un seul fichier alors que j'ai au moins 500 fichiers par session , ma configuration est : centrino duo 2 GO de RAM et 1.83 GHz CPU.
si quelqu'un aune suggestion comment faire le truc n'hesiter pas , je creve. Merci
Merci vmolines,
les fichiers que je dois parser sont des fichiers XML avec une structure complexe, la documentatioon que tu as proposé concerne antre autres des fichiers XML avec une structure simple propre à une seule table, et similaire a la structure d'une table, ceci dit que je dois transformer encore une fois ces fichiers xml en sorte qu'ils soient d'une format simple, mais c'est une tache tres tres couteuse.
y a t-il d'autre propositions?
En terme de vitesse je crois qu'il n'y aura pas mieux que de sortir du csv et passer par "LOAD DATA". Sinon il faut passer par des INSERT à valeurs multiples. Avec JDBC ça semble mieux que des prepared statement en batch donc ça devrait déjà être pas mal.
Peut-être aussi supprimer ou désactiver les indexes en s'inspirant de ce que fait mysqldump (à condition par exemple que les données à insérer ne viole pas une contrainte d'unicité par exemple).
Avec InnoDb il est aussi possible de désactiver l'auto-commit pour faire des transactions d'une taille décente (un instruction est trop peu si ce n'est pas un très gros INSERT), sans pour autant en faire des trop grosse. Enfin si c'est InnoDb il faudrait trier les éléments par clefs primaire, les donner dans l'ordre pouvant beaucoup aider.
En espérant que ça aidera.