Optimisation du code de lecture de fichiers et dossiers

Version imprimable

Bonsoir à tous,
J'aimerais améliorer la vitesse d’exécution de mon code mais je ne sais pas comment faire. Celui-ci lit environ 60000 dossiers et 600 fichiers,
les noms de dossiers sont stockés dans 2 listes 'CarSetupsListe' et 'TracksSetupListe', les fichiers sont stockés dans 'Setups'.
Ça prends environ 10s sur mon PC portable et bien que s’exécutant en tache de fond, cela ne rends pas l'interface disponible tout de suite pour cette partie du programme.

Les dossiers à lire sont organisés de cette façon :
Car1/Track1/xxxxxx.ini
Car1/Track2/xxxxxx.ini
....
Car2/Track1/xxxxxx.ini
Car2/Track2/xxxxxx.ini
....

J’espère que vous pourrez m'aider car je ne vois vraiment pas comment faire....

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
 Private Sub LoadDataSetups()
        Setups.Clear()
        CarsSetupsListe.Clear()
        TracksSetupsListe.Clear()
        ' Chargement de la liste des Voitures et Circuits dans les listes :
        Dim countCarFolder As Integer
        Dim TotaleSetupsFolder As Integer = Directory.GetDirectories(Options.AC_Doc_Directory & "\setups").Length
        For Each CarFolder As String In Directory.GetDirectories(Options.AC_Doc_Directory & "\setups")
            countCarFolder += 1
            Dim CarName As String = Path.GetFileName(CarFolder)
            If Not CarsSetupsListe.Contains(CarName) Then
                CarsSetupsListe.Add(CarName)
            End If
 
            For Each TrackFolder As String In Directory.GetDirectories(CarFolder)
                Dim TrackName As String = Path.GetFileName(TrackFolder)
                If Not TracksSetupsListe.Contains(TrackName) Then
                    TracksSetupsListe.Add(TrackName)
                End If
 
                For Each FileSetup As String In Directory.GetFiles(TrackFolder)
                    Dim Fi As New FileInfo(FileSetup)
                    If Fi.Extension.ToLower = ".ini" Then
                        Setups.Add(FileSetup, New Setup(FileSetup, CarName, TrackName))
                    End If
                Next
            Next
            Dim Progress As Integer = CInt(100 * countCarFolder / TotaleSetupsFolder)
            bgwLoadSetups.ReportProgress(Progress, String.Format("Chargement des Setups ({0}%)", Progress))
        Next
        CarsSetupsListe.Sort()
        TracksSetupsListe.Sort()
    End Sub

BasicZX81,

List.Contains(...) est assez lent , essaie avec un HashSet.Contains(...) qui est plus rapide :
Code:

1 2 3 4 5 6 7 8 Dim Setups As HashSet(Of Setup) Dim CarsSetupsListe As HashSet(Of String) Dim TracksSetupsListe As HashSet(Of String) ... //pour le tri Dim CarsSetupsListe_result = From v In CarsSetupsListe Order By v Dim TracksSetupsListe_result = From v In TracksSetupsListe Order By v
Ensuite pourquoi ToLower , ".ini" et ".INI" c'est équivalent.
Y a sûrement d'autres optimisations mais c'est une piste.

Salutations.

26/05/2016, 22h07
BasicZX81

Merci pour ta Suggestion Fabiani mais le gain est assez faible. J'ai estimé à 0.5s plus rapide dans le meilleur des cas.

Je pense que ce sont les 'GetDirectories' ou peut-être les 'GetFileName' qui prennent du temps.
J'ai peut-être une piste d'amélioration car en fait je n'ai pas besoin de charger les dossiers Carx et Trackx dans les listes si les dossiers correspondant sont vides.
Y a t'il moyen de lire tous les fichiers xxxx.ini contenu dans les sous-dossier en un minimum d'opération sans parcourir tous les dossiers ? J'ai vue que GetFiles possède une option AllDirectories, ça serait peut-être plus rapide que de parcourir tous les dossiers non ?

Il me suffirait ensuite de parser les chemins complet des fichiers pour extraire les noms des dossiers Carx et Trackx et les charger dans les listes.

Merci pour vos avis et suggestions.

BasicZX81,

Tu as raison, Directory.EnumerateDirectories et Directory.EnumerateFiles devraient donner de meilleurs résultats:

Code:

1
2
3
4
5
6
7
 
            Dim folders = From folder In Directory.EnumerateDirectories(CarFolder)
            For Each TrackFolder As String In folders
            ...
             Dim files = From file In Directory.EnumerateFiles(TrackFolder)
             For Each FileSetup As String In files
            ...

Salutations.

27/05/2016, 05h07
BasicZX81

Merci de m'aider Fabiani, je ne connaissais pas cette méthode mais je n'ai quasiment rien gagné en vitesse... :?

Je crois que je ferais un test avec la méthode que j'ai citée pour voir (a moins que quelqu'un ai une meilleur idée).

EDIT :
J'ai testé ça et cette ligne à elle seul prend une dizaine de secondes :

Code:

Dim FilesSetups() As String = Directory.GetFiles(Options.AC_Doc_Directory & "\setups", "*.ini", SearchOption.AllDirectories)

Je vois pas comment je peux faire pour faire plus rapide :?
27/05/2016, 08h35
J@ckHerror

Bonjour,

Je suis peut être hors sujet mais si le problème à la base et le blocage de l'interface, ne serait-t-il pas plus utile de passer par de l'asynchronisme qui lui rendra l'interface réactive durant le traitement. Même si tu gagnes 50% de temps de traitement ton interface bloquera toujours pendant 5 secondes.
Après cela ne retire pas l’intérêt d'optimiser l'algo de traitement.

J@ck.
27/05/2016, 11h02
ebastien

Bonjour,

Tu peux tenter de paralléliser en utilisant Directory.EnumerateFiles et Parallel.ForEach pour boucler sur tes fichiers. En fonction de tes traitements tu peux gagner pas mal !
27/05/2016, 14h26
BasicZX81

Très interressant la Parallelisation, je ne connaissais pas. Par contre je ne gagne pas beaucoup voir pas du tout sur mon Core2Duo.
Je ne pense pas pouvoir trouver de solution miracle donc je vais laisser comme ça...

Merci à tous.
27/05/2016, 14h54
ZenZiTone

Citation:

Envoyé par BasicZX81

Je ne pense pas pouvoir trouver de solution miracle donc je vais laisser comme ça...

Si tu souhaites laisser la main sur l'IHM durant e traitement tu peux toujours exécuter ta fonction dans un thread. Le temps perçu s'en trouvera moins long.