Interop.Excel Tres lent ?

Bonjour,

Je me permet de solliciter votre aide afin de résoudre un temps de traitement beaucoup trop long de mon application.

J'ai donc développé une application C# permettant de générer les états de factures clients dans des documents de type Xls à l'aide de Interop.Excel.

En gros j’exécute ma requête, puis pour chaque client je génère un doc de type .xls contenant l’état de l'ensemble de ses factures.

Pour donner un ordre d'idée, mon extraction SQL dure environ 1 minutes et est exécutée deux fois dans mon traitement.
le nombre de client est de 3000 et chacun possède en moyenne entre 10 et 15 factures.

L’exécution de mon premier traitement a durée 10h .... ce qui est bien trop.
J'ai donc recommencer avec du Multithread(15) ce qui me permet de baisser le temps de traitement à 2h45, ce qui est tout de même de trop.

J'ai remarquer que mon processeur était à 100% de charge ... que ce soit avec 5 ou 15 Thread... Est normal ? C'est pas une bete de course mais un E5300 qui est je pense suffisant pour générer ce type de fichier.
La consommation en rame n'est pas excessive puisque d'environ 100Mo

Pouvez vous m'aider à optimiser mon traitement ?

Vous trouverez ci dessous les extraits de mon code

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 335 336 337 338 339 340 341 342 343 344 345 346 347 348 349 350 351 352 353 354 355 356 357 358 359 360 361 362 363 364 365 366 367 368 369 370 371 372 373 374 375 376 377 378 379 380 381 382 383 384 385 386 387 388 389 390 391 392 393 394 395 396 397 398 399 400 401 402 403 404 405 406 407 408 409 410 411 412 413 414 415 416 417 418 419 420 421 422 423 424 425 426 427 428 429 430 431 432 433 434 435 436 437 438 439

class Program { // Calcul du temps total d'execution Stopwatch TotalTimer = new Stopwatch();   // On définit une variable logger static qui référence l'instance du logger nommé Program private static readonly ILog log = LogManager.GetLogger(typeof(Program));   //------ -1- Methode qui permet de recuperer le fichier contenant la requete SQL ---------- public static string LoadSQLStatement(string statementName) { string sqlStatement = string.Empty;   string namespacePart = "Export_Excel"; string resourceName = namespacePart + "." + statementName;   using (Stream stm = Assembly.GetExecutingAssembly().GetManifestResourceStream(resourceName)) { if (stm != null) { sqlStatement = new StreamReader(stm).ReadToEnd(); } } return sqlStatement; }   //------ -2- Methode qui permet de Kill les process Excel en cours au demarrage et à la fin de l'application---------- static void killprocess() { Process[] AllProcesses = Process.GetProcessesByName("EXCEL");   // check to kill the right process foreach (Process ExcelProcess in AllProcesses) { ExcelProcess.Kill(); } AllProcesses = null; }   //------ -3- Methode qui permet d'executer la requete SQL afin de lister les prestataires --------- static void ListerPresta(Stopwatch timer) { //------ Je recupere le path de l'application pour rechercher le fichier SQL. ---------- string path = Environment.GetCommandLineArgs()[0]; string dirpath = path.Substring(0, path.LastIndexOf('\\') + 1); string[] dirs = path.Split('\\'); string dir = dirs[dirs.Length - 2];   //------ Fichier contenant la Requete ---------- FileInfo file = new FileInfo(dirpath + "****.sql");   string query = file.OpenText().ReadToEnd();   Random nRandom = new Random(DateTime.Now.Millisecond);   //------ Appel au fichier de config pour la connection SQL, Puis Execution de la connection ---------- SqlConnection conn = new SqlConnection(System.Configuration.ConfigurationManager.ConnectionStrings["Production"].ConnectionString); conn.Open();   if (conn == null) { conn.Open(); }   SqlCommand cmd = new SqlCommand(query, conn); SqlDataReader dr = cmd.ExecuteReader();   int nombreColonne = dr.FieldCount;   //------ Liste des prestataires --------- List<string> vendor1 = new List<string>(); // ect ect ;   // compteur pour le nbr de prestataire int NbrPresta = 0;   while (dr.Read()) { //------ Liste des prestataires ---------- string vendeur = dr.GetString(0);   if (NbrPresta <= 200 ) {//------ Ajout des prestataires uniques dans la liste je creer des listes de 200 presta ---------- if (!vendor1.Contains(vendeur)) { vendor1.Add(vendeur); NbrPresta++; } } // ect ect   // Obliger de fermer le DataReader pour en ouvrir un autre car deja parcouru dr.Close();   /* Parcourir la liste des prestataires; Pour chacun : je crée un fichier avec l'ensemble de ses factures   et je termine par l'enregistrement */   //------ Execute la requete ---------- SqlDataReader dr1 = cmd.ExecuteReader(); List<DataReaderRow> dr1Collection = new List<DataReaderRow>(); List<DataReaderRow> dr1Collection2 = new List<DataReaderRow>(); // ect ect       int index = 0; while (dr1.Read()) { // Si mon presta est dans le dataReader j'ajoute ces elements dans drcollection if (vendor1.Contains(dr1[0].ToString())) { dr1Collection.Add(new DataReaderRow(dr1[0].ToString(), dr1[1].ToString(), dr1[2].ToString(), dr1[3].ToString(), dr1[4].ToString(), dr1[5].ToString(), dr1[6].ToString(), dr1[7].ToString(), dr1[8].ToString(), dr1[9].ToString(), dr1[10].ToString(), dr1[11].ToString(), dr1[12].ToString(), dr1[13].ToString(), dr1[14].ToString(), dr1[15].ToString())); index++; } // ect ect   // Parametres List<ParamDoc> creerdoc1 = new List<ParamDoc>(); creerdoc1.Add(new ParamDoc(vendor1, timer, dr, dr1Collection));     // Init de mes 15 Threads Thread th = new Thread(new ParameterizedThreadStart(CreerDocument));     //Lancement de mes 15 Threads th.Start(creerdoc1);   }   //------ -4- CreerDocument + Creer le document Excel et remplir les entetes ---------- static void CreerDocument(object doclist) { List<ParamDoc> lis = doclist as List<ParamDoc>; List<string> vendor = lis.FirstOrDefault().vendor; Stopwatch timer = lis.FirstOrDefault().timer; List<DataReaderRow> dr1Collection = lis.FirstOrDefault().dr1Collection;   // Pour chaque presta foreach (string prestataire in vendor) { int i = 1, n = 2, l = 1, o = 0;   //------ Création du fichier Excel ---------- Excel.Application app = new Excel.Application(); Excel.Workbook wb = app.Workbooks.Add(); Microsoft.Office.Interop.Excel._Worksheet feuille;   //------ Options de Configuration du fichier Excel ---------- app.DisplayAlerts = false; app.ScreenUpdating = false; app.Visible = false; app.UserControl = false; app.Interactive = false;   //------ Activer la feuille ---------- feuille = (Microsoft.Office.Interop.Excel._Worksheet)wb.ActiveSheet;   //------ Ajout des titres des colonnes dans le document Excel. Ces titres sont stockés pour une raison de maintenance //dans le fichier App.config ----------     foreach (string aValue in ConfigurationManager.AppSettings) { // [ Ligne , Colonne ] feuille.Cells[1, i] = ConfigurationManager.AppSettings[aValue];   // Couleurs Du menu ( Text + Background ) feuille.Cells[1, i].Interior.Color = XlRgbColor.rgbDarkSalmon; feuille.Cells[1, i].Font.Color = XlRgbColor.rgbAntiqueWhite; feuille.Cells[1, i].Font.Bold = true;   i++; o++; }   List<DataReaderRow> filtre = (from DataReaderRow m in dr1Collection where m._CodePrestataire == prestataire select m).ToList(); // nombre de données du presta int nbrFiltre = filtre.Count();   l = 1; foreach (DataReaderRow ligne in filtre) { remplir(feuille, ligne, prestataire, n, l); n++; }   try { // Je sauvegarde le document wb.SaveAs(@"C:\tests\" + prestataire + ".xls", Type.Missing, Type.Missing, Type.Missing, Type.Missing, Type.Missing, Excel.XlSaveAsAccessMode.xlNoChange, Type.Missing, Type.Missing, Type.Missing, Type.Missing, Type.Missing);   // Je ferme le Process et je vide la memoire. wb.Close(false, System.Reflection.Missing.Value, System.Reflection.Missing.Value); app.Quit(); Marshal.ReleaseComObject(feuille); Marshal.ReleaseComObject(wb); Marshal.ReleaseComObject(app); feuille = null; wb = null; app = null; GC.GetTotalMemory(false); GC.Collect(); GC.WaitForPendingFinalizers(); GC.Collect(); GC.GetTotalMemory(true); }   catch ( Exception ) {                     // Objet mail                     MailMessage msg = new MailMessage();                       // Expéditeur (obligatoire). Notez qu'on peut spécifier le nom                     msg.From = new MailAddress("****,****");                       // Destinataires (il en faut au moins un)                     msg.To.Add(new MailAddress("*****,****"));                       // Texte du mail (facultatif)                     msg.Body = "********"                     // Fichier joint si besoin (facultatif)                     // msg.Attachments.Add(new Attachment(@"c:\fichierjoint.txt"));                       // Envoi du message SMTP                     SmtpClient client = new SmtpClient("*****"); //25 ou 587 default 25                       client.Credentials = new NetworkCredential("******");                       // Envoi du mail                     client.Send(msg);                 } } } //------ -4- Methode CreerDocument + Surcharge() qui permet de creer le document Excel et remplir les entetes ---------- static void CreerDocument(List<string> vendor, Stopwatch timer, SqlDataReader dr, List<DataReaderRow> dr1Collection) { foreach (string prestataire in vendor) { int i = 1, n = 2, l = 1, o = 0;   //------ Création du fichier Excel ---------- Excel.Application app = new Excel.Application(); Excel.Workbook wb = app.Workbooks.Add(); Microsoft.Office.Interop.Excel._Worksheet feuille;   //------ Options de Configuration du fichier Excel ---------- app.DisplayAlerts = false; app.ScreenUpdating = false; app.Visible = false; app.UserControl = false; app.Interactive = false;   //------ Activer la feuille ---------- feuille = (Microsoft.Office.Interop.Excel._Worksheet)wb.ActiveSheet;   //------ Ajout des titres des colonnes dans le document Excel. Ces titres sont stockés pour une raison de maintenance //dans le fichier App.config ----------   foreach (string aValue in ConfigurationManager.AppSettings) {                     // [ Ligne , Colonne ]                     feuille.Cells[1, i] = ConfigurationManager.AppSettings[aValue];                       // Couleurs Du menu ( Text + Background )                     feuille.Cells[1, i].Interior.Color = XlRgbColor.rgbDarkSalmon;                     feuille.Cells[1, i].Font.Color = XlRgbColor.rgbAntiqueWhite;                     feuille.Cells[1, i].Font.Bold = true;                       i++;                     o++;                 }   List<DataReaderRow> filtre = (from DataReaderRow m in dr1Collection where m._CodePrestataire == prestataire select m).ToList(); // nombre de données du presta int nbrFiltre = filtre.Count();   l = 1; foreach (DataReaderRow ligne in filtre) {                                         List<ObjectParameter> param = new List<ObjectParameter>();                     param.Add(new ObjectParameter(feuille, ligne, prestataire, n, l));                       remplir(feuille, ligne, prestataire,n,l);                     n++;                 } n = 1;   try {                     // Je sauvegarde le document                     wb.SaveAs(@"C:\tests\" + prestataire + ".xls", Type.Missing, Type.Missing, Type.Missing,                    Type.Missing,                    Type.Missing,                    Excel.XlSaveAsAccessMode.xlNoChange, Type.Missing,                    Type.Missing, Type.Missing, Type.Missing,                    Type.Missing);                      // Je ferme le Process et je vide la memoire.                    wb.Close(false, System.Reflection.Missing.Value, System.Reflection.Missing.Value);                    app.Quit();                    Marshal.ReleaseComObject(feuille);                    Marshal.ReleaseComObject(wb);                    Marshal.ReleaseComObject(app);                    feuille = null;                    wb = null;                    app = null;                    GC.GetTotalMemory(false);                    GC.Collect();                    GC.WaitForPendingFinalizers();                    GC.Collect();                    GC.GetTotalMemory(true);                } catch (Exception) {                     // Objet mail                     MailMessage msg = new MailMessage();                       // Expéditeur (obligatoire). Notez qu'on peut spécifier le nom                     msg.From = new MailAddress("*********");                       // Destinataires (il en faut au moins un)                     msg.To.Add(new MailAddress("*********"));                       // Texte du mail (facultatif)                     msg.Body = "**********";                       // Fichier joint si besoin (facultatif)                     //  msg.Attachments.Add(new Attachment(@"c:\fichierjoint.txt"));                       // Envoi du message SMTP                     SmtpClient client = new SmtpClient("*******"); //25 ou 587                       client.Credentials = new NetworkCredential("***************");                       // Envoi du mail                     client.Send(msg);                 }   }   }   //------ -5- Methode qui permet de remplir le document --------- static void remplir( Microsoft.Office.Interop.Excel._Worksheet feuille, DataReaderRow ligne, string prestataire, int n, int l ) { try { for (int f = 1; f < 17; f++) { Console.WriteLine("******************" + prestataire + "** ligne " + n + "** Colonne " + f + "****************");   feuille.Cells[n, 1] = ligne._CodePrestataire; feuille.Cells[n, 2] = ligne._RaisonSocial; feuille.Cells[n, 3] = ligne._Date_Facture; feuille.Cells[n, 4] = ligne._NoFacture; feuille.Cells[n, 5] = ligne._NoIntervention; feuille.Cells[n, 6] = ligne._Montant_TTC; feuille.Cells[n, 7] = ligne._Date_Comptabilisation; feuille.Cells[n, 8] = ligne._Mode_Reglement; feuille.Cells[n, 9] = ligne._Date_reglement_transmition; feuille.Cells[n, 10] = ligne._Montant_Reglement; feuille.Cells[n, 11] = ligne._Grand_Compte; feuille.Cells[n, 12] = ligne._Région_grand_Compte; feuille.Cells[n, 13] = ligne._Nom_societaire; feuille.Cells[n, 14] = ligne._Type_Produit; feuille.Cells[n, 15] = ligne._Email; feuille.Cells[n, 16] = ligne._Coordinateur_regionnal;   //Attribution des couleurs du document Attribuées dans le fichier de configuration. if ((n % 2) == 0) {                         // nbre pair                                                             feuille.Cells[n, l].Interior.Color = XlRgbColor.rgbAntiqueWhite;                         feuille.Cells[n, l].HorizontalAlignment = XlVAlign.xlVAlignCenter;                         feuille.Columns.AutoFit();                     } else {                         // nbre impair                         feuille.Cells[n, l].Interior.Color = XlRgbColor.rgbGhostWhite;                         feuille.Cells[n, l].HorizontalAlignment = XlVAlign.xlVAlignCenter;                         feuille.Columns.AutoFit();                     } l++; } } catch ( Exception ) {                 // Objet mail                 MailMessage msg = new MailMessage();                   // Expéditeur (obligatoire). Notez qu'on peut spécifier le nom                 msg.From = new MailAddress("**************");                   // Destinataires (il en faut au moins un)                 msg.To.Add(new MailAddress("******************"));                   // Texte du mail (facultatif)                 msg.Body = "************************"                   // Fichier joint si besoin (facultatif)                 //  msg.Attachments.Add(new Attachment(@"c:\fichierjoint.txt"));                   // Envoi du message SMTP                 SmtpClient client = new SmtpClient("*************"); //25 ou 587                   client.Credentials = new NetworkCredential("*****************");                   // Envoi du mail                 client.Send(msg);             } }   //------ -0- Démarrage de l'application static void Main(string[] args) { try {                 // Je ferme les process Excel en cours                 killprocess();                   // Je vais calculer le temps de traitement du programme                 Stopwatch timer = new Stopwatch();                 timer.Start();                   ListerPresta(timer);             } catch (Exception e) {                 // En cas d'erreur je ferme l'ensemble des process Excel                 killprocess();             } } } }

---

Il me semble qu'utiliser les "Range" à la place de cells c'est plus rapide.
De ce que je crois comprendre, au lieu de communiquer à excel par COM pour chaque cellule, tu communiques qu'une seul fois pour une ligne par exemple: ecrit de A1 à F1 = (xxx,xx,x,xxx,....).
Bon je peux pas vraiment en dire plus je connais pas tres bien le concept, mais c'est pour moi une piste à approfondir :)

(Enleve aussi le Console.WriteLine, même si je suppose qu'il n'est là que pour debug :) )

Il serait préférable de générer directement un fichier Excel grâce à OpenXML:
http://badger.developpez.com/tutorie...-word-openxml/
(c'est un exemple avec Word mais même principe pour Excel)

Note: ca marche uniquement pour Office >= 2007

Effectivement , le console.writeline n'est présent que pour le debug.
L'enlever ne change rien niveau performance.

Dans mon cas, impossible d’insérer mes informations par range.

Des idées ?

Citation:

---

Envoyé par bibifoke

Dans mon cas, impossible d’insérer mes informations par range.

---

Pourquoi donc?La méthode "remplir" possèdent bien une succession de cellule, et a priori c'est la méthode la plus appelé.

Sinon OpenXml proposé peut également faire l'affaire, mais j'ai bien peur qu'il faille tout refaire:aie:, alors qu'utilise "Range" n'implique que peu de mofication.

Avez vous un exemple car je ne comprends pas le fonctionnement de "Range" svp ?