Discussion :

[djspank]

Bonjour a tous,

Voila mon problème, je suis entrain de développer une application pour Windows Mobile qui va utiliser un fichier xml comme BDD.
Forcement, j'utilise Linq to Xml pour manipuler mes données. Seulement voila, mon fichier fait plus de 140000 lignes et son chargement ainsi que les requetes sont excessivement longues... Beaucoup trop pour offrir une expérience utilisateur convenable.
Ma requete n'est pas trop complexe :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
 
var query = from c in xml.Descendants("client")
                        where c.Attribute("nom").Value.StartsWith("A") &&
                        c.Attribute("prenom").Value.StartsWith("A") &&
                        (string)c.Attribute("genre") == "H"
                        select new Personn
                        {
                            nom= (string)c.Element("nom"),
                            prenom= (string)c.Attribute("prenom"),
                         };

Est ce qu'il existe une solution afin d'optimiser le temps pour executer la requete ?

merci d'avance pour vos réponse.

Guillaume

[djspank]

Personne n'a une petite piste ?
j'ai essayé ceci pour charger le fichier en memoire :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
 
while (buff != null)
            {
                buff = sr.ReadLine();
                if (buff == null) { break; }
                else { 
                    nbLigne++;
                    this.programmeXML += buff + '\n';
                }
            }

Pour compter les lignes, sans la commande

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

this.programmeXML += buff + '\n';

la boucle s'execute en 15sec. Des que je rajoute

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

this.programmeXML += buff + '\n';

, c'est terminé... la boucle prend plus de 10minutes.

Il s'agit ici d'un fichier de plus de 140000 lignes pour une taille de 1.1Mo...

Une petite idée ?

[tomlev]

Des que je rajoute this.programmeXML += buff + '\n';, c'est terminé... la boucle prend plus de 10minutes.

Ben oui, tu crées 2 * 140000 instances de String, un peu plus longue à chaque fois... (2 fois parce que buff + '\n' crée aussi une nouvelle instance). Construire une chaine par concaténation est acceptable à petite échelle, mais dès que le nombre de chaines augmente c'est catastrophique pour les perfs... Il vaut mieux utiliser un StringBuilder, qui sert à ça.

Mais de toutes façons, pour charger un fichier texte dans une String, il y a plus simple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

this.programmeXML = File.ReadAllText(cheminDuFichier);

Enfin de toutes façons je ne pense pas que ça changera grand chose : XDocument charge de toutes façons le document en mémoire, pas la peine de le faire explicitement...

[bacelar]

1.1Mo, c'est un petit fichier.
XDocument devrait largement faire l'affaire.
Si cela devient plus grand, il faut se tourner vers les API de type SAX et c'est beaucoup moins conviviale que les XPath de XDocument et encore moins que Linq.

[tomlev]

Sinon, il y a peut-être moyen d'améliorer un peu ta requête : l'utilisation de Descendants("client") recherche des éléments <client> à tous les niveaux du document, alors que je suppose qu'ils sont tous au même niveau... donc il vaudrait mieux utiliser directement Elements("client") au niveau voulu pour éviter de chercher inutilement à tous les niveaux.

Par exemple, en supposant que les éléments <client> soient directement sous l'élément racine :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
var query = from c in xml.Root.Elements("client")
                        where c.Attribute("nom").Value.StartsWith("A") &&
                        c.Attribute("prenom").Value.StartsWith("A") &&
                        (string)c.Attribute("genre") == "H"
                        select new Personn
                        {
                            nom= (string)c.Element("nom"),
                            prenom= (string)c.Attribute("prenom"),
                         };

D'autre part, comment utilises-tu le résultat de cette requête ? Parce que ce n'est pas cette instruction elle-même qui prend du temps, vu que l'exécution des requêtes Linq est différée jusqu'au moment où tu l'énumères...

[buxus]

Bonjour!
faute de temps je peux pas le tester mais ... n'est ce pas vrai que le linq To DataSet est plus rapide (en terme de performances) que le linq To Xml? Pourquoi ne pas essayer de charger me fichier xml dans un dataset pour ensuite utiliser les filtres sur les DataTables (RowFilter). de cette façon tu évitera de faire des requetes sur un ensemble trop grand d'enregistrements.

si jamais vous decidez de tester tenez moi informé.
merci. sinon quand je termine mon job je le teste.
bon courage