SQLite POSTGRE - High load

Salut, je dois maintenant faire face a une commande SQL Qui plante, probablement(read 99.99%) a cause de .. sa taille

Code:

---

1 2 3 4 5 6 7 8 9

foreach (string s in array) {   SQLCMD.CommandText += "INSERT INTO MANGA (Name) VALUES ('" + s + "');"; i += SQLCMD.ExecuteNonQuery(); SQLCMD.CommandText = ""; Program.proggy.statusStrip1.Items[0].Text = "Updated " + i + " Querries"; } SC.Close();

---

l'array en question fait plus de 1200 Entrées toutes de gros strings.
Ma question est :
Comment traiter les grosses querry? Au début j'avais pensé a mettre tout les insert d'un seule coup mais ca avait l'air vachement gros, après j'ai pensé a tout divisé mais ça ne marche pas non plus. Donc si quelqu'un s'y connait en performance question SQLite... :)

Après ma deuxième question se porte sur mon formulaire, comme vous pouvez le voir le StatsStrip1 est censé se mettre a jour a chaque querry mais la forme plante :(

Deux conseils déja

1-

Utilise un StringBuilder plutot que de faire des concaténation de string avec +=

2- Construit UNE SEULE chaine de requete et execute en UNE SEULE fois

Code:

---

1 2 3 4 5 6 7 8

StringBuilder sb=new StringBuilder()   foreach (string s in array) { sb.AppendFormat("INSERT INTO MANGA (Name) VALUES ('{0}');",s); } SQLCMD.CommandText = sb.ToString(); SQLCMD.ExecuteNonQuery();

---

Citation:

---

Envoyé par F.Saad

Après ma deuxième question se porte sur mon formulaire, comme vous pouvez le voir le StatsStrip1 est censé se mettre a jour a chaque querry mais la forme plante :(

---

Ca plante comment ? quelle est l'exception exactement ?
Tu exécutes ce code dans un thread ? si oui, il faut passer par la méthode Invoke pour mettre à jour l'interface graphique :

Code:

---

1 2 3

this.Invoke( new MethodInvoker( () => program.proggy.statusStrip1.Items[0].Text = "Updated " + i + " Querries"));

---

Tu peux aussi utiliser un BackgroundWorker, et mettre à jour l'interface dans l'évènement ProgressChanged (qui est déclenché sur le thread de l'interface graphique)

Citation:

---

Envoyé par olibara

Deux conseils déja

1-

Utilise un StringBuilder plutot que de faire des concaténation de string avec +=

2- Construit UNE SEULE chaine de requete et execute en UNE SEULE fois

Code:

---

1 2 3 4 5 6 7 8

StringBuilder sb=new StringBuilder()   foreach (string s in array) { sb.AppendFormat("INSERT INTO MANGA (Name) VALUES ('{0}');",s); } SQLCMD.CommandText = sb.ToString(); SQLCMD.ExecuteNonQuery();

---

---

Merci pour le conseil, quelqu'un pourrait m'expliquer le raisonnement derrière par contre? le but étant d'apprendre et non de faire marcher :P

Citation:

---

Envoyé par tomlev

Ca plante comment ? quelle est l'exception exactement ?
Tu exécutes ce code dans un thread ? si oui, il faut passer par la méthode Invoke pour mettre à jour l'interface graphique :

Code:

---

1 2 3

this.Invoke( new MethodInvoker( () => program.proggy.statusStrip1.Items[0].Text = "Updated " + i + " Querries"));

---

Tu peux aussi utiliser un BackgroundWorker, et mettre à jour l'interface dans l'évènement ProgressChanged (qui est déclenché sur le thread de l'interface graphique)

---

Non, tout est fait dans le thread principale, j'ai pensé a avoir recours au parallélisme, mais je n'arrive tjrs pas a passer des paramètres efficacement dans a mes fonction dans les threads :(

on ne sait toujours pas comment ça plante... quelle est l'erreur obtenue ?

Citation:

---

Merci pour le conseil, quelqu'un pourrait m'expliquer le raisonnement derrière par contre? le but étant d'apprendre et non de faire marcher

---

1- Les concaténation de chaine s1+=s; sont tres gourmandes en ressource, le string builder est dédié a ce genre d'operation, je te conseille de faire une petite recherche a ce sujet

2- Le deuxieme point me semble evident, plutot que d'executer 1200 requetes sequentiellement tu execute une seule requete et c'est le SQL engine qui se débrouille pour effectuer les 1200 insert le mieux qu'il peut

Mais comme le rappelle tres bien TomLev tu n'est pas tres precis sur le problème rencontré !

Citation:

---

Envoyé par olibara

1- Les concaténation de chaine s1+=s; sont tres gourmandes en ressource, le string builder est dédié a ce genre d'operation, je te conseille de faire une petite recherche a ce sujet

2- Le deuxieme point me semble evident, plutot que d'executer 1200 requetes sequentiellement tu execute une seule requete et c'est le SQL engine qui se débrouille pour effectuer les 1200 insert le mieux qu'il peut

Mais comme le rappelle tres bien TomLev tu n'est pas tres precis sur le problème rencontré !

---

1.Message recu.
2. Le probléme est que le statusstrip censé se mettre a jour :

Code:

---

1 2 3

i += SQLCMD.ExecuteNonQuery(); SQLCMD.CommandText = ""; Program.proggy.statusStrip1.Items[0].Text = "Updated " + i + " Querries";

---

ne se fait qu'après la fin de l'insertion de toutes les entrées. Or selon le déroulement de mon code, du moins a la main. Ça devrait se faire après chaque insertion.
La forme plante complétement jusqu'a la fin de l'opération :(

Citation:

---

La forme plante complétement jusqu'a la fin de l'opération

---

Donc ce n'est pas reellement un plantage mais un freeze ce qui est tout a fait normal dans la maniere dont tu traite les choses

TomLev ta conseillé d'utiliser un autre thread pour faire ton operation precisément pour eviter le freeze de ta form qui s'execute elle dans le thread principal

Et si tu fais comme je t'ai indiqué ?
Combien de temps prends la constitution du StringBuilder ?
Combien de temps prends ensuite le query ?

Citation:

---

Envoyé par olibara

Donc ce n'est pas reellement un plantage mais un freeze ce qui est tout a fait normal dans la maniere dont tu traite les choses

TomLev ta conseillé d'utiliser un autre thread pour faire ton operation precisément pour eviter le freeze de ta form qui s'execute elle dans le thread principal

Et si tu fais comme je t'ai indiqué ?
Combien de temps prends la constitution du StringBuilder ?
Combien de temps prends ensuite le query ?

---

Je n'arrive pas a faire des threads avec des paramètres.

-Assez de temps pour freezer la forme.

Je vais mettre le topic sur résolu comme je suis arrivé a remplir la DB même si sa prend beaucoup de temps.

Mais une dernière question si quelqu'un la voie, est-il possible comme en php d'obtenir le temps qu'a pris la query?

Citation:

---

Envoyé par F.Saad

Je n'arrive pas a faire des threads avec des paramètres.

---

C'est à dire ? qu'est-ce que tu veux passer en paramètre ?

Citation:

---

Envoyé par F.Saad

Mais une dernière question si quelqu'un la voie, est-il possible comme en php d'obtenir le temps qu'a pris la query?

---

Stopwatch

Citation:

---

Envoyé par tomlev

C'est à dire ? qu'est-ce que tu veux passer en paramètre ?



Stopwatch

---

Bah, pour faire un thread j'utilise ca :

Code:

---

1 2	Thread thread = new Thread( new ThreadStart(parametereless method));

---

la méthode est non seulement void mais la syntaxe fait que l'on ne peut y insérer de param :(

Citation:

---

Envoyé par F.Saad

Bah, pour faire un thread j'utilise ca :
Thread thread = new Thread(
new ThreadStart(parametereless method));
la méthode est non seulement void mais la syntaxe fait que l'on ne peut y insérer de param :(

---

Il faut utiliser un ParameterizedThreadStart à la place d'un ThreadStart

Sur le même principe, tu peux aussi utiliser un BackgroundWorker en passant un paramètre à RunWorkerAsync, que tu récupères ensuite dans le DoWork via e.Argument

Citation:

---

Envoyé par olibara

je n'ai jammais trouvé l'outil qui permettait de faire une recherche dans les nombreux tuto proposé. Si ca existe ca ne m'a vraiment jamais sauté aux yeux et si ca n'exite pas c'est tout aussi dommage :calim2:

---

Ben Google :)
"tes termes de recherche site:developpez.com"
Mais je ne crois pas qu'on ait de tuto très complet sur les threads en .NET... Voilà peut-être une idée d'article, un jour ou j'aurai le temps :aie: