Discussion :

[dharkan]

Bonjour,

j'aurai besoin de votre aide. En effet, je rencontre un problème de performance lorsque je construit une large liste d'objet. Au niveau de la récupération des données depuis la base de données c'est rapide mais lorsque je construit ma liste cela deviens extrêmement long. Selon le nombre d'enregistrement que je peux récupérer, cela peux aller jusque 300K records. Je vous laisse imaginer ... Je me suis dit pour tester je vais limiter à 5k records mais cela dure : Temps execution :00:03:18.9387725 minutes

Pour info : l'accès DB se fait avec Entity Framework.

Voici le code :

Code C# :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
public static List<DisplayRecherche> ChercheById(long id, string operateur)
        {
            DateTime date = DateTime.Now;
            IQueryable<DODON00> query = null;
            List<DODON00> results = null;
 
            switch (operateur)
            {
                case "=":
                    query = ctx.DODON00.Where(x => x.DONSEQ == id);
                    break;
                case "<>":
                    query = ctx.DODON00.Where(x => x.DONSEQ != id);
                    break;
                case "<":
                    query = ctx.DODON00.Where(x => x.DONSEQ < id);
                    break;
                case "<=":
                    query = ctx.DODON00.Where(x => x.DONSEQ <= id);
                    break;
                case ">":
                    query = ctx.DODON00.Where(x => x.DONSEQ > id);
                    break;
                case ">=":
                    query = ctx.DODON00.Where(x => x.DONSEQ >= id);
                    break;
            }
            results = query.Take(5000).ToList();
            List<DisplayRecherche> recherche = results.Select(x => new DisplayRecherche()
            {
                DONENT = GetDatetimeFromDONENT(x.DONENT),
                DONPRD = x.DONPRD,
                DONSEQ = x.DONSEQ,
                LIBLIB = GetLIBLIB(x.DONSEQ)
            }).ToList();
 
            TimeSpan tempExec = DateTime.Now - date;
            Debug.WriteLine("Temps execution :" + tempExec.ToString());
            return recherche;
        }
 
        public static string GetLIBLIB(decimal id)
        {
            string cle = id.ToString("0000000000");
            return ctx.PALIB00.SingleOrDefault(x => x.LIBCLE.Equals(cle)).LIBLIB;
        }
 
        private static DateTime GetDatetimeFromDONENT(decimal donent)
        {
            return new DateTime((int)(donent / 10000), (int)((donent / 100) % 100), (int)(donent % 100));
        }

De ce que j'ai pu comprendre c'est vraiment cette partie qui prend un temps fou ...

Code C# :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
List<DisplayRecherche> recherche = results.Select(x => new DisplayRecherche()
            {
                DONENT = GetDatetimeFromDONENT(x.DONENT),
                DONPRD = x.DONPRD,
                DONSEQ = x.DONSEQ,
                LIBLIB = GetLIBLIB(x.DONSEQ)
            }).ToList();

Mon code est loin d'être parfait, mais je ne vois pas comment optimiser pour que cela soit plus rapide que 3 minutes pour charger 5k record dans une liste ... Surtout si j'en ai les 300k.

[popo]

Ce qui prend du temps, c'est l'exécution des 5000 requêtes supplémentaires induites par cette ligne :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

ctx.PALIB00.SingleOrDefault(x => x.LIBCLE.Equals(cle)).LIBLIB;

Il doit y avoir un moyen de s'en sortir avec une jointure.

[dharkan]

Bonjour popo,

j'ai adapté de cette manière :

Code C# :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
 
DateTime date = DateTime.Now;
            IQueryable<DODON00> query = null;
            IQueryable<PALIB00> query2 = null;
 
            switch (operateur)
            {
                case "=":
                    query = ctx.DODON00.Where(x => x.DONSEQ == id);
                    break;
                case "<>":
                    query = ctx.DODON00.Where(x => x.DONSEQ != id);
                    break;
                case "<":
                    query = ctx.DODON00.Where(x => x.DONSEQ < id);
                    break;
                case "<=":
                    query = ctx.DODON00.Where(x => x.DONSEQ <= id);
                    break;
                case ">":
                    query = ctx.DODON00.Where(x => x.DONSEQ > id);
                    break;
                case ">=":
                    query = ctx.DODON00.Where(x => x.DONSEQ >= id);
                    break;
            }
string cle = id.ToString("0000000000");
query2 = ctx.PALIB00.Where(x => x.LIBCLE == cle);
var joinedQuery = from d in query
                              join p in query2 on ((int)d.DONSEQ).ToString("0000000000") equals p.LIBCLE
                              select new DisplayRecherche
                              {
                                  DONENT = GetDatetimeFromDONENT(d.DONENT),
                                  DONPRD = d.DONPRD,
                                  DONSEQ = (long)d.DONSEQ,
                                  LIBLIB = p.LIBLIB
                              };
 
            Debug.WriteLine("Temps execution :" + (TimeSpan)(DateTime.Now - date));
            List<DisplayRecherche> lst = null;
            try
            {
                lst = joinedQuery.Take(5000).ToList();
            }
            catch (Exception ex) { }
 
            return lst;

Mais j'ai cette erreur :

System.NotSupportedException*: 'LINQ to Entities ne reconnaît pas la méthode 'System.String ToString(System.String)', et cette dernière ne peut pas être traduite en expression de magasin.'

J'avoue que je suis perdu... Après, DONSEQ est decimal dans la DB et LIBCLE est un string sur 10 positions. Je ne suis pas propriétaire de la base et n'ai accès qu'en lecture seule donc je ne sais pas changé les types de la db ...

[dharkan]

J'ai changé mon code en faisant du sql pur.
ChatGPT ma généré ce que je voulais et la récupération des 300k record dans une liste + rendu sur la vue me prend maintenant 7 secondes.
Merci !

[umfred]

donc pour info, ça donne quoi en code ?