Performance C# & MySQL

Bonjour,
Je suis en ce moment en stage et je travaille sur l'automatisation d'une tâche donnée, bon une première chose à faire c'est de prendre des informations sur des titres d'un fichier .txt et de les décortiqués et par la suite les insérer dans ma base de données. Mon problème c'est que les fichiers par moyenne contienne 5000 lignes ainsi qu'une trentaine d'attributs chose qui me prend beaucoup de temps pour l'insertion dans ma base de donnée (environ 1min30) et donc je voudrais savoir s'il y a moyen d'améliorerla performance.
outils utilisés : C# & MySQL 5.1.
Méthode utilisées:

• public static MySqlConnection connexion() //pour la connexion que n'ouvre qu'une seule fois question d'optimiser :aie:
• public static void inserer(string requeteInsert,MySqlConnection connection)

Merci de m'aider dans les limites du possible !
N.B: mon application ne prend pas bcp de ressources mémoire et CPU!

5000 lignes / 90 s = 55,5 lignes / s = 18 ms / ligne ... et donc ?

Salut,
à priori ce qui prend le plus de temps ce sont les appels entre ton appli et la base.
Tu pourrais par ex. créer une procédure stockée dans MySql qui pendrait en paramètre la chaîne de caractères correspondant au contenu du fichier, et qui effectuerait les insert, ce qui te permettrait de traiter un fichier entier avec un seul appel.
Ceci dit je saurai faire ça en T-Sql, par contre sous MySql je ne sais pas si c'est possible, si un connaisseur peut nous éclairer ?

Non pour le temps je pense qu'on peut faire mieux ! puisque j'ai fais un truc sur access j'ai défini la norme dans laquelle est écrit mon fichier texte et lorsque j'importe le fichier ça ne prends pas beaucoup de temps ! environ 10s

Bonjour,
Ce qui prend du temps, c'est le fait que tu insert ligne par lign eje crois d'après ce qui a été dis.
Il faudrait insérer tout le fichier en méme temps.
Essaye de le mettre dans un dataset peut etre et apres de mettre a jour le dataset dans le BD MySQL.
C'est une piste je ne suis pas sûr que ce soit réalisable.
Ce qui est sur c'est que c'est le fait de traiter les lignes une par une qui te fait perdre du temps.
A bientôt

Bonjour

Personellement j'utilise beaucoup MySql et je n'ai jamais vraiment eu de problème de performance

90 secondes me semblent effectivement beaucoup !

Les causes peuvent etre nombreuses et tu ne donne pas beaucoup de détails

C'est un peut etre un problème d'acces a ton fichier source;
C'est un peut etre un problème de parsage de ton fichier source;
C'est un peut etre un problème d'acces a la base elle meme !
C'est peut etre un probleme de traitement dans ta methode inserer ?

etc...

bon pour plus de détails j'utilise le MySQL Connector NEt 5.1.7 ainsi que MySQL 5.1, il me semble que ce retard est dû plus à la liaison Application-SGBD et non pas au SGBD lui même ! moi j'ai réalisé une procédure stockée qui prend en paramètre les attributs de ma base de données et je l'appel à chaque fois que la lecture d'une ligne est faite, Sachant que je traite le fichier en insérant chaque attribut comme un élément d'un tableau. (Connexion MySQL.data.dll que j'ajoute à mes références) , s'il y a une manière plus éfficace dites le moi! et merci.

Bonjour,
Wakan je vois pas comment je pourrais insérer tous les fichiers en une seul fois déjà vu la syntaxe de INSERT !

Montre ta commande insert si tu peux !

Code:

---

1 2 3 4 5

CREATE DEFINER=`root`@`localhost` PROCEDURE `insertionMouvementSuspens`(IN parm1 int,IN parm2 int,IN parm3 varchar(10), IN parm4 int(2), IN parm5 varchar(18), IN parm6 varchar(12), IN parm7 varchar(18), IN parm8 int(4), IN parm9 int(2),IN parm10 int(3), IN parm11 int(4), IN parm12 int(2), IN parm13 int(3), IN parm14 int(13), IN parm15 int(13), IN parm16 varchar(10), IN parm17 varchar(10), IN parm18 int(2), IN parm19 varchar(20), IN parm20 bigint(12), IN parm21 varchar(10),IN parm22 varchar(10))   BEGIN insert into cdvm.mouvementsuspens values (parm1,parm2,parm3,parm4,parm5,parm6,parm7,parm8,parm9,parm10,parm11,parm12,parm13,parm14,parm15,parm16,parm17,parm18,parm19,parm20,parm21,parm22); END;

---

je fais appel à cette procédure à chaque fois que je décortique la ligne,après je lui passe les éléments du tableau qui contient les attributs.

Sincerement je ne suis pas familier de cette syntaxe MySql en c#

Voici un autre exemple de syntaxe que j'utilise personnelement
Qr est un petit wrapper que j'ai ecrit qui fait un executescalar dans ce cas ci

Maintenant si ton import de fichier texte est un one-shot tu peux aussi utiliser MysqlImport qui est tres rapide !

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28

MySql.Data.MySqlClient.MySqlCommand MyCmd = new MySql.Data.MySqlClient.MySqlCommand();   string ins = "INSERT INTO address " + " (UserID,PostCode,NIS,Plaats,StraatNaam,HuisNum,Omschrijving,X,Y) " + " VALUES ( " + " ?UserID," + " ?PostCode," + " ?Nis," + " ?Plaats," + " ?Straat," + " ?Huis," + " ?Desc," + " ?X," + " ?Y )";   MyCmd.CommandText = ins; MyCmd.Parameters.AddWithValue("?UserID", txbUserID.Text); MyCmd.Parameters.AddWithValue("?PostCode", txb_Post.Text); MyCmd.Parameters.AddWithValue("?Nis", curNIS); MyCmd.Parameters.AddWithValue("?Plaats", txb_Plaats.Text); MyCmd.Parameters.AddWithValue("?Straat", txb_Rue.Text); MyCmd.Parameters.AddWithValue("?Huis", txb_Num.Text); MyCmd.Parameters.AddWithValue("?Desc", txb_Desc.Text); MyCmd.Parameters.AddWithValue("?X", X); MyCmd.Parameters.AddWithValue("?Y", Y);     int ID = (int)qr.execQueryReturnLastId(MyCmd);

---

c'est exactement ce que je fais, Ce que je viens de te montrer c'est que la syntaxe SQL de ma procédure stockée. moi aussi je passe à travers des fonctions que j'ai défini sur une classe Connexion et qui utilise la même chose. on reste toujours ligne par ligne ! (mon fichier je peux pas l'injecter entant que flux entier de dois le traiter avant).

Citation:

---

Envoyé par kobe24

Code:

---

1 2 3 4 5

CREATE DEFINER=`root`@`localhost` PROCEDURE `insertionMouvementSuspens`(IN parm1 int,IN parm2 int,IN parm3 varchar(10), IN parm4 int(2), IN parm5 varchar(18), IN parm6 varchar(12), IN parm7 varchar(18), IN parm8 int(4), IN parm9 int(2),IN parm10 int(3), IN parm11 int(4), IN parm12 int(2), IN parm13 int(3), IN parm14 int(13), IN parm15 int(13), IN parm16 varchar(10), IN parm17 varchar(10), IN parm18 int(2), IN parm19 varchar(20), IN parm20 bigint(12), IN parm21 varchar(10),IN parm22 varchar(10))   BEGIN insert into cdvm.mouvementsuspens values (parm1,parm2,parm3,parm4,parm5,parm6,parm7,parm8,parm9,parm10,parm11,parm12,parm13,parm14,parm15,parm16,parm17,parm18,parm19,parm20,parm21,parm22); END;

---

je fais appel à cette procédure à chaque fois que je décortique la ligne,après je lui passe les éléments du tableau qui contient les attributs.

---

Bonjour,
Je pense que pour les procedures stockées, on à un accès au disque dur chaque fois que cette procedure est appelé, il vaut meiux que les traitement soient fait a l'interieur du code de l'application (en C#avec le connector/NET)
Cordialement

prière d'éclaircir la méthode exacte !!

Citation:

---

Envoyé par kobe24

prière d'éclaircir la méthode exacte !!

---

Au lieu d'utiliser une procedure stockée,a l'interieur de ta boucle tu fais un insert simple avec CSharp et le connecteur/NET. sans créer de procedure stocké. un insert simple. pour la raison suivante:
Je pense qu'une procedure stocké va d'abord etre chargé depuis le disque vers la memoire centrale chaque fois que tu vas l'appeler, ensuite la requette INSERT va etre executé (deux passes). Si tu insert directement avec INSERT tu vas probablement réduir le temps d'execution, du moins en theorie

Cordialement

je pense que j'ai la poisse :mrgreen: car j'ai déja essayé avec une requête SQL simple sans faire appel à la procédure stockée mais le temps reste presque le même ! :(

re:
Essaye alors de mettre entre le début de l'insertion et la fin la requette SQL suivantes :

Code:

---

1 2 3 4

START TRANSACTION; // fais tes insertion ici COMMIT;

---

cordialement

Je pense que buggen25 est sur une bonne piste

Tu peux t'inspirer du code que je t'ai montré

Tu peux aussi provisoirement ne pas faire d'insertion du tout pour t'assurer que la lenteur n'est pas dans un autre traitement !!

non la lenteur est dans l'insertion puisque moi je fais au même temps un affichage sur une listView et une insertion dans la base de données. et j'ai commencé avec l'affichage et ça ne durait que deux secondes ! je pense que si je trouve pas de solution je vais mettre une barre de progression question de focaliser l'attention de l'utilisateur sur autre chose que le temps. :roll: vous en pensez quoi ?

Tu as déja essayé mysqlimport ?
Et l'insertion sans passer par la procedure stockée

Juste pour voir..

bon pour l'insertion sans procédure stockée c'est exactement la même chose. et pour le MysqlImport je vois pas d'options me permmettant de traiter mon fichier tel qu'il est !!
Exemple d'une ligne :

Code:

---

0200000009MA0000010803SAM 05700112000001000000000411000006300000000258930000000005178600000051790000002589300000025890000025978447GLE25 MCA18/06/200918/06/200923/06/20092406372 DSTE PRODUITS BITUMES ET PEROLIERS 178780212829189921000724178780212829189921000724 00200039132492113

---

Salut

Effectivement, MysqlImport accepte le tab delimité, tu peux aussi essayer un load data infile
Donc pour ce test, tu devrais préalablement decouper les champs de ton fichier inpiut en tab délimité

Sincérement j'ai déja chargé des millions de record en Mysql et j'aurais abandonné depuis longtemps avec les performance dont tu parle, il y a certainement un bingz quelque part !

Tu a des blob ou des text dans ta table ?

Bonjour,
Je pense que j'ai trouvé une solution (vu que le problème est certainement au niveau de la liaison .net MySQL), c'est de générer un fichier SQL après la lecture de mon fichier ce fichier SQL doit contenir toutes les INSERT ! mais là un problème se pose c'est que je dois faire un appel système à mySQL pour faire exécuter le fichier SQL sur le SGBD ! Comment pourrais-je le faire ?!
merci d'avance. ;)

Citation:

---

Envoyé par kobe24

Bonjour,
Je pense que j'ai trouvé une solution (vu que le problème est certainement au niveau de la liaison .net MySQL), c'est de générer un fichier SQL après la lecture de mon fichier ce fichier SQL doit contenir toutes les INSERT ! mais là un problème se pose c'est que je dois faire un appel système à mySQL pour faire exécuter le fichier SQL sur le SGBD ! Comment pourrais-je le faire ?!
merci d'avance. ;)

---

Tu as pensé à mesurer le temps que mets ta requête à aller vers ton server MySQL?
Est-ce que tu ferme bien toutes tes connections vers la base aussi?

Oui je ferme toutes les connexions, concernant le temps non je l'ai pas fait ! mais à travers toutes les essaies que j'ai fait, c'est clair que le problème c'est à ce niveau. si tu sais comment je pourrais faire pour exécuter le fichier SQL à partir de le ligne de commande.

Salut

Moi, je suis plus que sceptique sur l'origine du problème et la maniere de l'aborder

Mais ce que tu essaye de faire est a mon avis la PIRE des solution

Si c'est pour faire ca tu pourrais creer un fichier texte tab delimité
Et lancer une commande SQL genre

Code:

---

1 2 3 4

LOAD DATA INFILE 'c:\\tmp\\monfichier.txt' INTO TABLE rar FIELDS ENCLOSED BY "" TERMINATED BY '\t' LINES TERMINATED BY '\r\n'

---

Je plussois l'utilisation de load from file mais on ne peut pas faire de manipulation de données avant l'insert, il est nécessaire que le fichier soit correctement construit dés le début. Une solution est donc de réaliser tes traitements et de créer un fichier comptabile avec load from file. Au final, je ne suis pas sûr que tu gagne du temps.

Une autre alternative serait de construire moins de requetes INSERT :

Code:

---

1 2 3 4 5 6

INSERT INTO matable (`col1`, `col2`...) VALUES ('values1', 'values2'...), ('values1', 'values2'...), ('values1', 'values2'...), ('values1', 'values2'...);

---

Je ne crois pas que cette syntaxe supporte 5000 insertions en une seule fois. Par contre 100 par 100 ça roule et tu viens de passer de 5000 requêtes à 50.

Dans tous les cas, il faudrait déterminer quelle est la partie de ton traitement qui utilise le plus de temps. Rajoute des chrono dans ton code pour évaluer chaque partie.

Swann

Bonjour,
C'est résolu ! le problème n'étais ni de mon code ni de la liaison, c'est en changeant le type de ma base de données de InnoDB à MyISAM que le temps que prend l'opération ne dur plus que 5 à 6 secondes (2 minutes avant) ! merci pour vous tous.