Discussion :

[House MD]

Bonjour à tous,

Je dois alimenter un datagridview via des fichiers csv.
Ces fichiers font environ 50 000 lignes chacun et j'en manipule 5 ou 6.

Au finish, mon DGV met une 10aines de sec... c'est trop long.

Pour info j'utilise des expressions régulières et les patterns sont un peu longs afin d'éviter les confusions.

A votre avis où est l'erreur : les patterns mal gaulés ? Il faut abandonner les expressions régulières ?

Merci de vos conseils.

[SaumonAgile]

Non c'est le fait de charger 300 000 lignes dans une grille qui est "stupide".
Comment tu t'y retrouves pour traiter autant de lignes visuellement ?

[Danyel]

C'est certain qu'un dgv avec meme juste 1.000 lignes, c'est deja pas exploitable (ou alors avec un GROS mal de tête )
Alors avec beaucoup beaucoup plus, comme saumon, je vois pas trop l'interet.

[olsimare]

Bonjour.

+500000 pour Dany et Saumon !

Sinon, il te reste le virtualmode.

Cdt.

[Graffito]

Bonjour,

J'ai pas essayé 50 000 lignes, mais j'ai une appli qui en affiche 10 000 sans aucun problème (aussi bien en Framework 2.0 qu'en 3.5).

Pour certains cas de lenteur anormale du DGV (j'ai pas identifié précisément la raison de cette lenteur, mais ce n'est pas le nombre de lignes), le passage au Framework 3.5 améliore les perf d'un facteur 10.

Un grand nombre de ligne est parfaitement exploitable : on utilise des fonctions de recherche (avec occurence suivante et précédente), de tri (sur une ou plusieurs collobnnes) et un filtre dynamique sur le binding source.

[House MD]

Bonjour,

Je ne charge pas 300 000 lignes, j'ai 1700 intitulés q(et donc 1700 lignes) que je recherche dans des fichiers de 10 000 à 300 000 lignes pour trouver des infos spécifiques à ces intitulés.
C'est ca qui est long (d'ou l'utilisation d'expressions régulières.)

C'est plus clair ?

Merci.

[House MD]

Pour simplifier :

Peut importe le DGV, comment rechercher rapidement des intitulés dans des fichiers de type csv (cad sans longueur d'enregistrement fixe) très longs ?

Gracie.

[Faladin]

C'est peut-être moi qui est pas assez exigeant mais j'ai l'impression que cherché dans 300 000 lignes en 10 secondes c'est assez acceptable.

Tu cherches quoi, que ça se fasse en 5 secondes? 1? une fraction de seconde???

[Faladin]

Aussi ça serait peut-être bien que tu nous post le code qui fait la recherche...

[House MD]

En fait la recherche dans les 300 000 lignes met plutôt 30 sec que 10.
Mon boss qui code en C++ met moins d'une seconde...

[Faladin]

Et le code c'Est quoi?

[House MD]

Exemple de code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
    Sub CodePeriodicite()
 
        Dim StrmRdr = New StreamReader(Main.Path & "Monfichier.txt", System.Text.Encoding.Default)
        Str = StrmRdr.ReadToEnd()
        StrmRdr.Close()
        Dim StrTemp As String = ""
 
        For A As Int32 = 0 To DGV.Rows.Count-1
            StrTemp = DGV("Code Titre", A).Value
 
            'Le code titre est en longueur fixe sur 6 caractères :
            If Len(StrTemp) <> 6 Then
                StrTemp &= " "
            Else
                StrTemp &= ";"
            End If
 
            Dim RgExp As New Regex("1;0;" & StrTemp & "[^\r\n]+")
            Dim MtcColl As MatchCollection = RgExp.Matches(Str)
            Dim Mtc As Match
            For Each Mtc In MtcColl
                SubChaine = Mtc.Value.Split(";")
                DGV("Code Périodicité", A).Value = SubChaine(6)
                Exit For
            Next
        Next
 
    End Sub

[House MD]

Mais encore une fois peu importe mon code (puisqu'il est un peu lent) : dites moi ce que vous connaissez comme méthode efficace quand vous recherchez des strings dans de gros fichiers en longueurs de lignes non fixes.
Merci bien.

[Faladin]

Je suis pas un expert la dedans mais de transposer toute ton fichier dans une variable Str c'Est pas un peu lourd?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
Str = StrmRdr.ReadToEnd()

Ça serait pas mieux d'y aller ligne par ligne...Remarque ça serait peut-être même pire, j'Essaie juste de réfléchir avec toi...

Sinon va falloir qu'un gouru s'en mêle

[Philippe Vialatte]

Sinon va falloir qu'un gouru s'en mêle

Un gouru, c'est qqun qui se goure, non ??

Si c'est ca, j'ai pitet une chance

Bon, la, rapidos, tu as donc 1700 intitules a chercher dans 300 000 lignes ???

De l'époque très lointaine ou je bossais indirectement pour du telecom, on avait des fichiers comme ça(en fait, beaucoup plus gros, vu qu'on arrivait a quelques millions de lignes), et, ce qui était le plus rapide, dans notre cas, c'était de charger le contenu des fichiers dans une bd, et de faire des requêtes dessus après...genre, tu pré-charges tas fichiers csv dans une base access...

sinon, essaie peut-être de lire ligne a ligne, et de chercher tes 1700 intitules sur une seule ligne...

tu peux peut-etre aussi essayer de faire directement une requete SQL sur ton fichier csv (vive le moteur JET OLEDB)

je crois aussi qu'il existe des bibliotheque qui te permettent de convertir du csv en dataset...

enfin, demande son code a ton boss
(parvce que trouver toute les occurences de 1700 token dans 300 000 lignes reparties dans 5 fichiers en moins d'une seconde, chapitau )

[Kelpan]

J'arrive après la guerre, je sais...

Une hashtable n'aurait-elle pas fait l'affaire...

[Sehnsucht]

J'ai jeté un coup d'oeil rapide au code et n'utilisant pas trop les expressions régulières je n'ai pas tout suivi mais il ne serait pas plus simple étant donné que le fichier est du type csv de faire quelque chose du genre

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
 
Dim fichier As String = String.Format("{0}Monfichier.txt",Main.Path)
Dim champs As String()
Dim delimiteur As String = ";"
Using parseur As New TextFieldParser(fichier)
    parseur.SetDelimiters(delimiteur)
    While Not parseur.EndOfData
       champs = parseur.ReadFields()
       ' Mettre ici le test de vérification par exemple
       ' If champs(3).Length = 6 Then
           ' Action à effectuer
       ' End If
    End While
End Using

Code extrait du Snippet "Lire un fichier délimité"

En espérant que cela puisse être utile..