Discussion :

[jlachapelle]

Je dois faire la recherche d'un dossier contenant 10000 fichiers dans un dossier windows. Est-ce qu'il y a une méthode plus performante que celle-ci?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
 
try
            {
                foreach (string f in Directory.GetFiles("C:\test", "*.doc*"))
                    {
                        DoStuff(f);
                    }   
            }
            catch (System.Exception excpt)
            {
                Console.WriteLine(excpt.Message);
            }

Je sais pas si ce serait plus performant de créer une table de hashage et ensuite de chercher celle-ci?

[alavoler]

un dictionnaire je pense est plus rapide...

[StormimOn]

Un dictionnaire c'est bien lorsque l'on veut pouvoir accéder rapidement à un élément donné, hors ce n'est pas ce qui est recherché ici. Un dictionnaire n'apportera donc rien.

Il n'y a pas de méthode plus performante que ce que tu as fait, à ma connaissance en tout cas. A la rigueur on peut imaginer "threader" la recherche pour chaque sous-répertoire, mais aucune idée si cela apporterait quelque chose. De toute façon, récupérer un ensemble de fichiers prendra forcément du temps.

As-tu fait le test en condition réelle pour voir si cela te pose vraiment un problème ? Car vouloir optimiser c'est bien, mais si c'est un peu lent et que cela suffit tout de même, pas la peine d'optimiser.

Bref, regarde en condition réelle le temps que cela prend pour récupérer ta liste de fichiers (la classe StopWatch permet de faire des mesures de temps à ce niveau)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
StopWatch watch = new StopWatch();
watch.Start();
Directory.GetFiles(@"C:\test", "*.doc*");
watch.Stop();

Après tu n'as plus qu'à regarder le temps que t'indique le chrono

[olibara]

Je n'ai pas encore trouvé de FS qui gerait de maniere performante un grand nombre de fichier dans un répertoire
En tout cas pas FAT32 ni NTFS
C'est meme souvent catastrophique si on commence a depasser quelques centaines de fichiers alors quand tu parle de 10000

La premiere chose que je te conseillerait si c'est possible, c'est de subdiviser a la source en plusieurs repertoires

[Lorenzo77]

La premiere chose que je te conseillerait si c'est possible, c'est de subdiviser a la source en plusieurs repertoires

le problème sera le même, ca galère tout autant ... ya que les systèmes de fichiers linux (ext2/...) qui peuvent gérer des grands nombres de fichiers/reps sans trop ramer.

[olibara]

Salut Lorenzo77

Je maintiens quand meme que gerer 500 fichiers dans un repertoire ou 10000 ce n'est pas du tout lineaire !

Donc, s'il parvient a faire un arbre de repertoires sur 4 niveau par exemple et limiter la recherche dans le repertoire ad-hoc, ca ira beaucoup plus vite

N.B. Maintenant je dis un arbre mais ca peut aussi etre un vecteur de repertoire, ce qui compte surtout c'est le nombre de fichier dans un repertoire

[jlachapelle]

Finalement j'ai fais des tests et je n'ai pas de problème pour les performances pour 10000 fichiers si les fichiers sont sur un disque local ou sur un map net-work drive. Par contre j'ai des gros problème de performances lorsque j'utilise directement l'adresse réseau.

exemple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
 
try
            {
                foreach (string f in Directory.GetFiles(@"\\GMCANADA\MANUFACTURING_PARTS\", "*.CATPart*"))
                    {
                        DoStuff(f);
                    }   
            }
            catch (System.Exception excpt)
            {
                Console.WriteLine(excpt.Message);
            }

Il est impossible de changer la hierarchie du dossier et des fichiers à court terme.