VB.Net - Lecture de fichiers csv

Version imprimable

11/06/2008, 17h37
House MD

VB.Net - Lecture de fichiers csv

Bonjour à tous,

Je dois alimenter un datagridview via des fichiers csv.
Ces fichiers font environ 50 000 lignes chacun et j'en manipule 5 ou 6.

Au finish, mon DGV met une 10aines de sec... c'est trop long.

Pour info j'utilise des expressions régulières et les patterns sont un peu longs afin d'éviter les confusions.

A votre avis où est l'erreur : les patterns mal gaulés ? Il faut abandonner les expressions régulières ?

Merci de vos conseils.
11/06/2008, 19h47
SaumonAgile

Non c'est le fait de charger 300 000 lignes dans une grille qui est "stupide". ;)
Comment tu t'y retrouves pour traiter autant de lignes visuellement ?
11/06/2008, 20h00
Danyel

C'est certain qu'un dgv avec meme juste 1.000 lignes, c'est deja pas exploitable (ou alors avec un GROS mal de tête ;))
Alors avec beaucoup beaucoup plus, comme saumon, je vois pas trop l'interet.
11/06/2008, 20h04
olsimare

Bonjour.

+500000 pour Dany et Saumon !

Sinon, il te reste le virtualmode.

Cdt.
11/06/2008, 21h25
Graffito

Bonjour,

J'ai pas essayé 50 000 lignes, mais j'ai une appli qui en affiche 10 000 sans aucun problème (aussi bien en Framework 2.0 qu'en 3.5).

Pour certains cas de lenteur anormale du DGV (j'ai pas identifié précisément la raison de cette lenteur, mais ce n'est pas le nombre de lignes), le passage au Framework 3.5 améliore les perf d'un facteur 10.

Un grand nombre de ligne est parfaitement exploitable : on utilise des fonctions de recherche (avec occurence suivante et précédente), de tri (sur une ou plusieurs collobnnes) et un filtre dynamique sur le binding source.
12/06/2008, 10h05
House MD

Bonjour,

Je ne charge pas 300 000 lignes, j'ai 1700 intitulés q(et donc 1700 lignes) que je recherche dans des fichiers de 10 000 à 300 000 lignes pour trouver des infos spécifiques à ces intitulés.
C'est ca qui est long (d'ou l'utilisation d'expressions régulières.)

C'est plus clair ?

Merci.
12/06/2008, 10h42
House MD

Pour simplifier :

Peut importe le DGV, comment rechercher rapidement des intitulés dans des fichiers de type csv (cad sans longueur d'enregistrement fixe) très longs ?

Gracie.
12/06/2008, 14h01
Faladin

C'est peut-être moi qui est pas assez exigeant mais j'ai l'impression que cherché dans 300 000 lignes en 10 secondes c'est assez acceptable.

Tu cherches quoi, que ça se fasse en 5 secondes? 1? une fraction de seconde???
12/06/2008, 14h02
Faladin

Aussi ça serait peut-être bien que tu nous post le code qui fait la recherche...
12/06/2008, 14h03
House MD

En fait la recherche dans les 300 000 lignes met plutôt 30 sec que 10.
Mon boss qui code en C++ met moins d'une seconde...
12/06/2008, 21h39
Faladin

Et le code c'Est quoi? :P

Exemple de code :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
    Sub CodePeriodicite()
 
        Dim StrmRdr = New StreamReader(Main.Path & "Monfichier.txt", System.Text.Encoding.Default)
        Str = StrmRdr.ReadToEnd()
        StrmRdr.Close()
        Dim StrTemp As String = ""
 
        For A As Int32 = 0 To DGV.Rows.Count-1
            StrTemp = DGV("Code Titre", A).Value
 
            'Le code titre est en longueur fixe sur 6 caractères :
            If Len(StrTemp) <> 6 Then
                StrTemp &= " "
            Else
                StrTemp &= ";"
            End If
 
            Dim RgExp As New Regex("1;0;" & StrTemp & "[^\r\n]+")
            Dim MtcColl As MatchCollection = RgExp.Matches(Str)
            Dim Mtc As Match
            For Each Mtc In MtcColl
                SubChaine = Mtc.Value.Split(";")
                DGV("Code Périodicité", A).Value = SubChaine(6)
                Exit For
            Next
        Next
 
    End Sub

16/06/2008, 10h09
House MD

Mais encore une fois peu importe mon code (puisqu'il est un peu lent) : dites moi ce que vous connaissez comme méthode efficace quand vous recherchez des strings dans de gros fichiers en longueurs de lignes non fixes.
Merci bien.
16/06/2008, 13h52
Faladin
Je suis pas un expert la dedans mais de transposer toute ton fichier dans une variable Str c'Est pas un peu lourd?
Code:

1 2 Str = StrmRdr.ReadToEnd()
Ça serait pas mieux d'y aller ligne par ligne...Remarque ça serait peut-être même pire, j'Essaie juste de réfléchir avec toi...

Sinon va falloir qu'un gouru s'en mêle :aie:
16/06/2008, 15h32
Philippe Vialatte

Citation:

Envoyé par Faladin

Sinon va falloir qu'un gouru s'en mêle

Un gouru, c'est qqun qui se goure, non ?? :D

Si c'est ca, j'ai pitet une chance :mouarf:

Bon, la, rapidos, tu as donc 1700 intitules a chercher dans 300 000 lignes ???

De l'époque très lointaine ou je bossais indirectement pour du telecom, on avait des fichiers comme ça(en fait, beaucoup plus gros, vu qu'on arrivait a quelques millions de lignes), et, ce qui était le plus rapide, dans notre cas, c'était de charger le contenu des fichiers dans une bd, et de faire des requêtes dessus après...genre, tu pré-charges tas fichiers csv dans une base access...

sinon, essaie peut-être de lire ligne a ligne, et de chercher tes 1700 intitules sur une seule ligne...

tu peux peut-etre aussi essayer de faire directement une requete SQL sur ton fichier csv (vive le moteur JET OLEDB)

je crois aussi qu'il existe des bibliotheque qui te permettent de convertir du csv en dataset...

enfin, demande son code a ton boss ;)
(parvce que trouver toute les occurences de 1700 token dans 300 000 lignes reparties dans 5 fichiers en moins d'une seconde, chapitau :king:)
14/10/2008, 17h43
Kelpan

J'arrive après la guerre, je sais...

Une hashtable n'aurait-elle pas fait l'affaire...

J'ai jeté un coup d'oeil rapide au code et n'utilisant pas trop les expressions régulières je n'ai pas tout suivi mais il ne serait pas plus simple étant donné que le fichier est du type csv de faire quelque chose du genre
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 Dim fichier As String = String.Format("{0}Monfichier.txt",Main.Path) Dim champs As String() Dim delimiteur As String = ";" Using parseur As New TextFieldParser(fichier) parseur.SetDelimiters(delimiteur) While Not parseur.EndOfData champs = parseur.ReadFields() ' Mettre ici le test de vérification par exemple ' If champs(3).Length = 6 Then ' Action à effectuer ' End If End While End Using
Code extrait du Snippet "Lire un fichier délimité"

En espérant que cela puisse être utile..