Discussion :

[kobe24]

Bonjour,
Je suis en ce moment en stage et je travaille sur l'automatisation d'une tâche donnée, bon une première chose à faire c'est de prendre des informations sur des titres d'un fichier .txt et de les décortiqués et par la suite les insérer dans ma base de données. Mon problème c'est que les fichiers par moyenne contienne 5000 lignes ainsi qu'une trentaine d'attributs chose qui me prend beaucoup de temps pour l'insertion dans ma base de donnée (environ 1min30) et donc je voudrais savoir s'il y a moyen d'améliorerla performance.
outils utilisés : C# & MySQL 5.1.
Méthode utilisées:

• public static MySqlConnection connexion() //pour la connexion que n'ouvre qu'une seule fois question d'optimiser
• public static void inserer(string requeteInsert,MySqlConnection connection)

Merci de m'aider dans les limites du possible !
N.B: mon application ne prend pas bcp de ressources mémoire et CPU!

[kobe24]

Bonjour,
Je pense que j'ai trouvé une solution (vu que le problème est certainement au niveau de la liaison .net MySQL), c'est de générer un fichier SQL après la lecture de mon fichier ce fichier SQL doit contenir toutes les INSERT ! mais là un problème se pose c'est que je dois faire un appel système à mySQL pour faire exécuter le fichier SQL sur le SGBD ! Comment pourrais-je le faire ?!
merci d'avance.

[Leelith]

Bonjour,
Je pense que j'ai trouvé une solution (vu que le problème est certainement au niveau de la liaison .net MySQL), c'est de générer un fichier SQL après la lecture de mon fichier ce fichier SQL doit contenir toutes les INSERT ! mais là un problème se pose c'est que je dois faire un appel système à mySQL pour faire exécuter le fichier SQL sur le SGBD ! Comment pourrais-je le faire ?!
merci d'avance.

Tu as pensé à mesurer le temps que mets ta requête à aller vers ton server MySQL?
Est-ce que tu ferme bien toutes tes connections vers la base aussi?

[kobe24]

Oui je ferme toutes les connexions, concernant le temps non je l'ai pas fait ! mais à travers toutes les essaies que j'ai fait, c'est clair que le problème c'est à ce niveau. si tu sais comment je pourrais faire pour exécuter le fichier SQL à partir de le ligne de commande.

[olibara]

Salut

Moi, je suis plus que sceptique sur l'origine du problème et la maniere de l'aborder

Mais ce que tu essaye de faire est a mon avis la PIRE des solution

Si c'est pour faire ca tu pourrais creer un fichier texte tab delimité
Et lancer une commande SQL genre

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
LOAD DATA INFILE 'c:\\tmp\\monfichier.txt' 
INTO TABLE rar 
FIELDS ENCLOSED BY "" TERMINATED BY '\t' 
LINES TERMINATED BY '\r\n'

[Swann]

Je plussois l'utilisation de load from file mais on ne peut pas faire de manipulation de données avant l'insert, il est nécessaire que le fichier soit correctement construit dés le début. Une solution est donc de réaliser tes traitements et de créer un fichier comptabile avec load from file. Au final, je ne suis pas sûr que tu gagne du temps.

Une autre alternative serait de construire moins de requetes INSERT :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
INSERT INTO matable (`col1`, `col2`...) VALUES
     ('values1', 'values2'...),
     ('values1', 'values2'...),
     ('values1', 'values2'...),
     ('values1', 'values2'...);

Je ne crois pas que cette syntaxe supporte 5000 insertions en une seule fois. Par contre 100 par 100 ça roule et tu viens de passer de 5000 requêtes à 50.

Dans tous les cas, il faudrait déterminer quelle est la partie de ton traitement qui utilise le plus de temps. Rajoute des chrono dans ton code pour évaluer chaque partie.

Swann

[kobe24]

Bonjour,
C'est résolu ! le problème n'étais ni de mon code ni de la liaison, c'est en changeant le type de ma base de données de InnoDB à MyISAM que le temps que prend l'opération ne dur plus que 5 à 6 secondes (2 minutes avant) ! merci pour vous tous.