Discussion :

[tortuegenie]

Bonjour,

je lis un fichier .csv qui contient plusieurs milliers de ligne (18000 à 200000)
Je recupere des infos que je transmet ensuite dans une base de donnée le tout en LinQ.

Tout fonctionne tres bien, mis á part que le temps d'execution est de plus en plus lent.

Au debut entre 30 et 35 lignes du fichiers par seconde et au bout de la 4000 lignes plus que 20 lignes/seconde et ainsi de suite.

Que puis-je faire pour que le temps reste constant. Une idée ?
Merci

[Neiflheim]

Bonjour,

Tu lis le fichier dans sa globalité puis tu traites les lignes? Ou tu lit ligne par ligne le fichier? (J'ai constaté de meilleure performances pour la lecture ligne par ligne en traitant des fichiers de 400.000 lignes)).

Pour comparaison, je lis environ 600.000 lignes au total que j'insère dans une base de données après plusieurs traitements en environ 4/5 secondes...

[calagan99]

Je pense aussi qu'un traitement séquentiel serait le plus adapté.
Pourrais-tu nous montrer comment tu procèdes et comment est structuré ton CSV ?

[tortuegenie]

un fichier csv contient 60 colonnes qui se répartisse dans 25-30 tables de ma base de donnée.

Je prends un Streamreader et ensuite dans une boucle while(string line = streamreader.Read())

Je n'ai pas le code sous les yeux mais je peux le poster demain matin.

si tu arrives à insérer 600 000 lignes en 4/5 secondes dans Sql server va falloir me donner une idée car moi j'y arrive pas en moyenne 20 lignes par secondes

[Nathanael Marchand]

Pour avoir déjà rencontré le cas, ca n'est clairement pas la bonne stratégie.
Il faut faire un bulk insert en base dans une table temporaire, verifier les contraintes métier dans cette table et enfin faire une fusion (via INSERT, UPDATE ou MERGE) vers les tables de destination.

[tortuegenie]

Tu crois que c'est cela qui prends du temps ?

Voila le code:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 using (StreamReader readFile = new StreamReader(sPath))
            {
 
 
                while ((line = readFile.ReadLine()) != null)
                {
}
}

est ce deja la bonne methode ou pas ?