Version imprimable
Bonjour,
je lis un fichier .csv qui contient plusieurs milliers de ligne (18000 à 200000)
Je recupere des infos que je transmet ensuite dans une base de donnée le tout en LinQ.
Tout fonctionne tres bien, mis á part que le temps d'execution est de plus en plus lent.
Au debut entre 30 et 35 lignes du fichiers par seconde et au bout de la 4000 lignes plus que 20 lignes/seconde et ainsi de suite.
Que puis-je faire pour que le temps reste constant. Une idée ?
Merci
Bonjour,
Tu lis le fichier dans sa globalité puis tu traites les lignes? Ou tu lit ligne par ligne le fichier? (J'ai constaté de meilleure performances pour la lecture ligne par ligne en traitant des fichiers de 400.000 lignes)).
Pour comparaison, je lis environ 600.000 lignes au total que j'insère dans une base de données après plusieurs traitements en environ 4/5 secondes...
Je pense aussi qu'un traitement séquentiel serait le plus adapté.
Pourrais-tu nous montrer comment tu procèdes et comment est structuré ton CSV ?
un fichier csv contient 60 colonnes qui se répartisse dans 25-30 tables de ma base de donnée.
Je prends un Streamreader et ensuite dans une boucle while(string line = streamreader.Read())
Je n'ai pas le code sous les yeux mais je peux le poster demain matin.
si tu arrives à insérer 600 000 lignes en 4/5 secondes dans Sql server va falloir me donner une idée car moi j'y arrive pas en moyenne 20 lignes par secondes
Pour avoir déjà rencontré le cas, ca n'est clairement pas la bonne stratégie.
Il faut faire un bulk insert en base dans une table temporaire, verifier les contraintes métier dans cette table et enfin faire une fusion (via INSERT, UPDATE ou MERGE) vers les tables de destination.
Tu crois que c'est cela qui prends du temps ?
Voila le code:est ce deja la bonne methode ou pas ?Code:
2
3
4
5
6
7
8
Bonjour,
Moi j'aurais plutôt utilisé un while not readfile.endofstream...
Mais je pense que la lenteur de ton code se situe au niveau du traitement de la ligne
ce qui est bizarre c'est que pour les petits fichiers 25-30000 lignes c'est bon, mais pour les fichiers de 200000 lignes il est plus lent, or c'est le meme programme peu importe la taille du fichier
Si on ne voit pas le traitement qu'il y a derrière, on peux pas s'avancer sur les causes possibles ;) Peut-être des variables qui s'accumulent et qui ne sont pas vidés? etc.
je vais jeter un coup d'oeil pour voir si effectivement y'a qq chose qui cloche