Interop.Excel Tres lent ?

**bibifoke** · 27/09/2012, 16h50

Bonjour,

Je me permet de solliciter votre aide afin de résoudre un temps de traitement beaucoup trop long de mon application.

J'ai donc développé une application C# permettant de générer les états de factures clients dans des documents de type Xls à l'aide de Interop.Excel.

En gros j’exécute ma requête, puis pour chaque client je génère un doc de type .xls contenant l’état de l'ensemble de ses factures.

Pour donner un ordre d'idée, mon extraction SQL dure environ 1 minutes et est exécutée deux fois dans mon traitement.
le nombre de client est de 3000 et chacun possède en moyenne entre 10 et 15 factures.

L’exécution de mon premier traitement a durée 10h .... ce qui est bien trop.
J'ai donc recommencer avec du Multithread(15) ce qui me permet de baisser le temps de traitement à 2h45, ce qui est tout de même de trop.

J'ai remarquer que mon processeur était à 100% de charge ... que ce soit avec 5 ou 15 Thread... Est normal ? C'est pas une bete de course mais un E5300 qui est je pense suffisant pour générer ce type de fichier.
La consommation en rame n'est pas excessive puisque d'environ 100Mo

Pouvez vous m'aider à optimiser mon traitement ?

Vous trouverez ci dessous les extraits de mon code

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
 
    class Program
    {        
        // Calcul du temps total d'execution
        Stopwatch TotalTimer = new Stopwatch();
 
        // On définit une variable logger static qui référence l'instance du logger nommé Program
        private static readonly ILog log = LogManager.GetLogger(typeof(Program));
 
        //------ -1- Methode qui permet de recuperer le fichier contenant la requete SQL  ----------
        public static string LoadSQLStatement(string statementName)
        {
            string sqlStatement = string.Empty;
 
            string namespacePart = "Export_Excel";
            string resourceName = namespacePart + "." + statementName;
 
            using (Stream stm = Assembly.GetExecutingAssembly().GetManifestResourceStream(resourceName))
            {
                if (stm != null)
                {
                    sqlStatement = new StreamReader(stm).ReadToEnd();
                }
            }
            return sqlStatement;
        }
 
        //------ -2- Methode qui permet de Kill les process Excel en cours au demarrage et à la fin de l'application----------
        static void killprocess()
        {
            Process[] AllProcesses = Process.GetProcessesByName("EXCEL");
 
            // check to kill the right process
            foreach (Process ExcelProcess in AllProcesses)
            {                
                    ExcelProcess.Kill();
            }
            AllProcesses = null;
        }        
 
        //------ -3- Methode qui permet d'executer la requete SQL afin de lister les prestataires  ---------
        static void ListerPresta(Stopwatch timer)
        {
            //------ Je recupere le path de l'application pour rechercher le fichier SQL.  ----------
            string path = Environment.GetCommandLineArgs()[0];
            string dirpath = path.Substring(0, path.LastIndexOf('\\') + 1);
            string[] dirs = path.Split('\\');
            string dir = dirs[dirs.Length - 2];
 
            //------ Fichier contenant la Requete  ----------           
            FileInfo file = new FileInfo(dirpath + "****.sql");
 
            string query = file.OpenText().ReadToEnd();
 
            Random nRandom = new Random(DateTime.Now.Millisecond);
 
            //------ Appel au fichier de config pour la connection SQL, Puis Execution de la connection  ----------           
            SqlConnection conn = new SqlConnection(System.Configuration.ConfigurationManager.ConnectionStrings["Production"].ConnectionString);
            conn.Open();
 
            if (conn == null)
            {
                conn.Open();
            }
 
            SqlCommand cmd = new SqlCommand(query, conn);
            SqlDataReader dr = cmd.ExecuteReader();
 
            int nombreColonne = dr.FieldCount;
 
                //------ Liste des prestataires  ---------
                List<string> vendor1 = new List<string>();
               // ect ect ;
 
            // compteur pour le nbr de prestataire
            int NbrPresta = 0;
 
            while (dr.Read())
            {   
			//------ Liste des prestataires  ----------
                string vendeur = dr.GetString(0);
 
                if (NbrPresta <= 200 )
                {//------ Ajout des prestataires uniques dans la liste je creer des listes de 200 presta ----------
                    if (!vendor1.Contains(vendeur))
                    {
                        vendor1.Add(vendeur);
                        NbrPresta++;
                    }
                } // ect ect 
 
            // Obliger de fermer le DataReader pour en ouvrir un autre car deja parcouru
            dr.Close();
 
            /* Parcourir la liste des prestataires; Pour chacun : je crée un fichier avec l'ensemble de ses factures
            et je termine par l'enregistrement  */
 
            //------ Execute la requete  ---------- 
            SqlDataReader dr1 = cmd.ExecuteReader();
            List<DataReaderRow> dr1Collection = new List<DataReaderRow>();
            List<DataReaderRow> dr1Collection2 = new List<DataReaderRow>();
          // ect ect 
 
 
 
            int index = 0;
            while (dr1.Read())
            {	// Si mon presta est dans le dataReader j'ajoute ces elements dans drcollection
                if (vendor1.Contains(dr1[0].ToString()))
                {
                    dr1Collection.Add(new DataReaderRow(dr1[0].ToString(), dr1[1].ToString(), dr1[2].ToString(), dr1[3].ToString(), dr1[4].ToString(), dr1[5].ToString(), dr1[6].ToString(), dr1[7].ToString(), dr1[8].ToString(), dr1[9].ToString(), dr1[10].ToString(), dr1[11].ToString(), dr1[12].ToString(), dr1[13].ToString(), dr1[14].ToString(), dr1[15].ToString()));
                    index++;
                } // ect ect 
 
				// Parametres 
            List<ParamDoc> creerdoc1 = new List<ParamDoc>();
            creerdoc1.Add(new ParamDoc(vendor1, timer, dr, dr1Collection));
 
 
				// Init de mes 15 Threads
            Thread th = new Thread(new ParameterizedThreadStart(CreerDocument));
 
 
            //Lancement de mes 15 Threads
            th.Start(creerdoc1);
 
        }
 
        //------ -4-  CreerDocument  + Creer le document Excel et remplir les entetes ----------
        static void CreerDocument(object doclist)
        {
            List<ParamDoc> lis = doclist as List<ParamDoc>;
            List<string> vendor = lis.FirstOrDefault().vendor;
            Stopwatch timer = lis.FirstOrDefault().timer;
            List<DataReaderRow> dr1Collection = lis.FirstOrDefault().dr1Collection;
 
			// Pour chaque presta
            foreach (string prestataire in vendor)
            {
                int i = 1, n = 2, l = 1, o = 0;
 
                //------ Création du fichier Excel ----------
                Excel.Application app = new Excel.Application();
                Excel.Workbook wb = app.Workbooks.Add();
                Microsoft.Office.Interop.Excel._Worksheet feuille;
 
                //------ Options de Configuration du fichier Excel ----------
                app.DisplayAlerts = false;
                app.ScreenUpdating = false;
                app.Visible = false;
                app.UserControl = false;
                app.Interactive = false;
 
                //------ Activer la feuille ----------
                feuille = (Microsoft.Office.Interop.Excel._Worksheet)wb.ActiveSheet;
 
                //------ Ajout des titres des colonnes dans le document Excel. Ces titres sont stockés pour une raison de maintenance 
                //dans le fichier App.config  ----------
 
 
                foreach (string aValue in ConfigurationManager.AppSettings)
                {
                    // [ Ligne , Colonne ]
                    feuille.Cells[1, i] = ConfigurationManager.AppSettings[aValue];
 
                    // Couleurs Du menu ( Text + Background )
                    feuille.Cells[1, i].Interior.Color = XlRgbColor.rgbDarkSalmon;
                    feuille.Cells[1, i].Font.Color = XlRgbColor.rgbAntiqueWhite;
                    feuille.Cells[1, i].Font.Bold = true;
 
                    i++;
                    o++;
                }
 
                List<DataReaderRow> filtre = (from DataReaderRow m in dr1Collection where m._CodePrestataire == prestataire select m).ToList();
                // nombre de données du presta
                int nbrFiltre = filtre.Count();
 
                l = 1;
                foreach (DataReaderRow ligne in filtre)
                {
                    remplir(feuille, ligne, prestataire, n, l);
                    n++;
                }
 
                try
                {
                    // Je sauvegarde le document 
                    wb.SaveAs(@"C:\tests\" + prestataire + ".xls", Type.Missing, Type.Missing, Type.Missing,
                    Type.Missing,
                    Type.Missing,
                    Excel.XlSaveAsAccessMode.xlNoChange, Type.Missing,
                    Type.Missing, Type.Missing, Type.Missing,
                    Type.Missing);
 
                    // Je ferme le Process et je vide la memoire.
                    wb.Close(false, System.Reflection.Missing.Value, System.Reflection.Missing.Value);
                    app.Quit();
                    Marshal.ReleaseComObject(feuille);
                    Marshal.ReleaseComObject(wb);
                    Marshal.ReleaseComObject(app);
                    feuille = null;
                    wb = null;
                    app = null;
                    GC.GetTotalMemory(false);
                    GC.Collect();
                    GC.WaitForPendingFinalizers();
                    GC.Collect();
                    GC.GetTotalMemory(true);
                }
 
                catch ( Exception )
                {
                    // Objet mail
                    MailMessage msg = new MailMessage();
 
                    // Expéditeur (obligatoire). Notez qu'on peut spécifier le nom
                    msg.From = new MailAddress("****,****");
 
                    // Destinataires (il en faut au moins un)
                    msg.To.Add(new MailAddress("*****,****"));
 
                    // Texte du mail (facultatif)
                    msg.Body = "********"
                    // Fichier joint si besoin (facultatif)
                    // msg.Attachments.Add(new Attachment(@"c:\fichierjoint.txt"));
 
                    // Envoi du message SMTP
                    SmtpClient client = new SmtpClient("*****"); //25 ou 587 default 25
 
                    client.Credentials = new NetworkCredential("******");
 
                    // Envoi du mail
                    client.Send(msg);
                }
            }
        }
        //------ -4- Methode CreerDocument  + Surcharge() qui permet de creer le document Excel et remplir les entetes ----------
        static void CreerDocument(List<string> vendor, Stopwatch timer, SqlDataReader dr, List<DataReaderRow> dr1Collection)
        {
            foreach (string prestataire in vendor)
            {
                int i = 1, n = 2, l = 1, o = 0;
 
                //------ Création du fichier Excel ----------
                Excel.Application app = new Excel.Application();
                Excel.Workbook wb = app.Workbooks.Add();
                Microsoft.Office.Interop.Excel._Worksheet feuille;
 
                //------ Options de Configuration du fichier Excel ----------
                app.DisplayAlerts = false;
                app.ScreenUpdating = false;
                app.Visible = false;
                app.UserControl = false;
                app.Interactive = false;
 
                //------ Activer la feuille ----------
                feuille = (Microsoft.Office.Interop.Excel._Worksheet)wb.ActiveSheet;
 
                //------ Ajout des titres des colonnes dans le document Excel. Ces titres sont stockés pour une raison de maintenance 
                //dans le fichier App.config  ----------
 
                foreach (string aValue in ConfigurationManager.AppSettings)
                {
                    // [ Ligne , Colonne ]
                    feuille.Cells[1, i] = ConfigurationManager.AppSettings[aValue];
 
                    // Couleurs Du menu ( Text + Background )
                    feuille.Cells[1, i].Interior.Color = XlRgbColor.rgbDarkSalmon;
                    feuille.Cells[1, i].Font.Color = XlRgbColor.rgbAntiqueWhite;
                    feuille.Cells[1, i].Font.Bold = true;
 
                    i++;
                    o++;
                }
 
                List<DataReaderRow> filtre = (from DataReaderRow m in dr1Collection where m._CodePrestataire == prestataire select m).ToList();
                // nombre de données du presta
                int nbrFiltre = filtre.Count();
 
                l = 1;
                foreach (DataReaderRow ligne in filtre)
                {                     
                    List<ObjectParameter> param = new List<ObjectParameter>();
                    param.Add(new ObjectParameter(feuille, ligne, prestataire, n, l));
 
                    remplir(feuille, ligne, prestataire,n,l);
                    n++;
                }
                n = 1;
 
                try
                {
                    // Je sauvegarde le document 
                    wb.SaveAs(@"C:\tests\" + prestataire + ".xls", Type.Missing, Type.Missing, Type.Missing,
                    Type.Missing,
                    Type.Missing,
                    Excel.XlSaveAsAccessMode.xlNoChange, Type.Missing,
                    Type.Missing, Type.Missing, Type.Missing,
                    Type.Missing);
 
                    // Je ferme le Process et je vide la memoire.
                    wb.Close(false, System.Reflection.Missing.Value, System.Reflection.Missing.Value);
                    app.Quit();
                    Marshal.ReleaseComObject(feuille);
                    Marshal.ReleaseComObject(wb);
                    Marshal.ReleaseComObject(app);
                    feuille = null;
                    wb = null;
                    app = null;
                    GC.GetTotalMemory(false);
                    GC.Collect();
                    GC.WaitForPendingFinalizers();
                    GC.Collect();
                    GC.GetTotalMemory(true);
                }
                catch (Exception)
                {
                    // Objet mail
                    MailMessage msg = new MailMessage();
 
                    // Expéditeur (obligatoire). Notez qu'on peut spécifier le nom
                    msg.From = new MailAddress("*********");
 
                    // Destinataires (il en faut au moins un)
                    msg.To.Add(new MailAddress("*********"));
 
                    // Texte du mail (facultatif)
                    msg.Body = "**********";
 
                    // Fichier joint si besoin (facultatif)
                    //  msg.Attachments.Add(new Attachment(@"c:\fichierjoint.txt"));
 
                    // Envoi du message SMTP
                    SmtpClient client = new SmtpClient("*******"); //25 ou 587
 
                    client.Credentials = new NetworkCredential("***************");
 
                    // Envoi du mail
                    client.Send(msg);
                }
 
            }
 
        }
 
        //------ -5- Methode qui permet de remplir le document ---------
        static void remplir( Microsoft.Office.Interop.Excel._Worksheet feuille, DataReaderRow ligne, string prestataire, int n, int l )
        {           
            try
            {
                for (int f = 1; f < 17; f++)
                {
                    Console.WriteLine("******************" + prestataire + "** ligne " + n + "** Colonne " + f + "****************");
 
                    feuille.Cells[n, 1] = ligne._CodePrestataire;
                    feuille.Cells[n, 2] = ligne._RaisonSocial;
                    feuille.Cells[n, 3] = ligne._Date_Facture;
                    feuille.Cells[n, 4] = ligne._NoFacture;
                    feuille.Cells[n, 5] = ligne._NoIntervention;
                    feuille.Cells[n, 6] = ligne._Montant_TTC;
                    feuille.Cells[n, 7] = ligne._Date_Comptabilisation;
                    feuille.Cells[n, 8] = ligne._Mode_Reglement;
                    feuille.Cells[n, 9] = ligne._Date_reglement_transmition;
                    feuille.Cells[n, 10] = ligne._Montant_Reglement;
                    feuille.Cells[n, 11] = ligne._Grand_Compte;
                    feuille.Cells[n, 12] = ligne._Région_grand_Compte;
                    feuille.Cells[n, 13] = ligne._Nom_societaire;
                    feuille.Cells[n, 14] = ligne._Type_Produit;
                    feuille.Cells[n, 15] = ligne._Email;
                    feuille.Cells[n, 16] = ligne._Coordinateur_regionnal;
 
                     //Attribution des couleurs du document Attribuées dans le fichier de configuration.
                    if ((n % 2) == 0)
                    {
                        // nbre pair                                    
                        feuille.Cells[n, l].Interior.Color = XlRgbColor.rgbAntiqueWhite;
                        feuille.Cells[n, l].HorizontalAlignment = XlVAlign.xlVAlignCenter;
                        feuille.Columns.AutoFit();
                    }
                    else
                    {
                        // nbre impair
                        feuille.Cells[n, l].Interior.Color = XlRgbColor.rgbGhostWhite;
                        feuille.Cells[n, l].HorizontalAlignment = XlVAlign.xlVAlignCenter;
                        feuille.Columns.AutoFit();
                    }
                    l++;
                }
            }
            catch ( Exception )
            {
                // Objet mail
                MailMessage msg = new MailMessage();
 
                // Expéditeur (obligatoire). Notez qu'on peut spécifier le nom
                msg.From = new MailAddress("**************");
 
                // Destinataires (il en faut au moins un)
                msg.To.Add(new MailAddress("******************"));
 
                // Texte du mail (facultatif)
                msg.Body = "************************"
 
                // Fichier joint si besoin (facultatif)
                //  msg.Attachments.Add(new Attachment(@"c:\fichierjoint.txt"));
 
                // Envoi du message SMTP
                SmtpClient client = new SmtpClient("*************"); //25 ou 587
 
                client.Credentials = new NetworkCredential("*****************");
 
                // Envoi du mail
                client.Send(msg);
            }
        }
 
        //------ -0- Démarrage de l'application 
        static void Main(string[] args)
        {
            try
            {
                // Je ferme les process Excel en cours
                killprocess();
 
                // Je vais calculer le temps de traitement du programme
                Stopwatch timer = new Stopwatch();
                timer.Start();
 
                ListerPresta(timer);
            }
            catch (Exception e)
            {
                // En cas d'erreur je ferme l'ensemble des process Excel
                killprocess();
            }
        }
    }
}

**micka132** · 27/09/2012, 17h14

Il me semble qu'utiliser les "Range" à la place de cells c'est plus rapide.
De ce que je crois comprendre, au lieu de communiquer à excel par COM pour chaque cellule, tu communiques qu'une seul fois pour une ligne par exemple: ecrit de A1 à F1 = (xxx,xx,x,xxx,....).
Bon je peux pas vraiment en dire plus je connais pas tres bien le concept, mais c'est pour moi une piste à approfondir

(Enleve aussi le Console.WriteLine, même si je suppose qu'il n'est là que pour debug

)

**Nathanael Marchand** · 27/09/2012, 20h47

Il serait préférable de générer directement un fichier Excel grâce à OpenXML:
http://badger.developpez.com/tutorie...-word-openxml/
(c'est un exemple avec Word mais même principe pour Excel)

Note: ca marche uniquement pour Office >= 2007

**bibifoke** · 28/09/2012, 11h37

Effectivement , le console.writeline n'est présent que pour le debug.
L'enlever ne change rien niveau performance.

Dans mon cas, impossible d’insérer mes informations par range.

Des idées ?

**micka132** · 28/09/2012, 12h07

Envoyé par bibifoke

Dans mon cas, impossible d’insérer mes informations par range.

Pourquoi donc?La méthode "remplir" possèdent bien une succession de cellule, et a priori c'est la méthode la plus appelé.

Sinon OpenXml proposé peut également faire l'affaire, mais j'ai bien peur qu'il faille tout refaire

, alors qu'utilise "Range" n'implique que peu de mofication.

**bibifoke** · 28/09/2012, 15h35

Avez vous un exemple car je ne comprends pas le fonctionnement de "Range" svp ?

Interop.Excel Tres lent ?

C#

Vue hybride

Discussions similaires

Partager

Partager