lecture txt - 60000 ligne

Salut,

Voila, j'ai un fichier txt avec 60000 ou plus et il faut que je importe les donnés sur ma base de donnée. je utilise alors un simple

Code:

---

string[] rowstxt = System.IO.File.ReadAllLines(path);

---

et après un

Code:

---

foreach( string str in rowstxt )

---

avec un petit algorithme de decode de la row. le problème c'est que il me faut +/- 5min de chargement! je pense que c'est beaucoup. Il y a t'il une meilleurs solution avec plus performance?

je vous remercie d'avance!
Filipe Oliveira

Essaye de voir ce qui prend du temps en faisant du pas à pas : Est ce le foreach ou le chargement ?

Si c'est le foreach, tu pourrais gagner quelque seconde en faisant un for, mais l'efficacité n'est pas sure. Le seul truc que tu peux faire c'est des tests à plusieurs endroit dans ton code genre :

Citation:

---

DateTime startTime = DateTime.Now;

// Lire le fichier

dureeLectureFichier = (DateTime.Now - startTime).Seconds;

// foreach

dureeForeach = (DateTime.Now - startTime).Seconds - dureeLectureFichier;

---

A la fin, tu peux les afficher. C'est pas ce qu'il y a de plus précis mais ça te donne une idée du truc. Après, tu changes le foreach par un for, tu vois si y'a une différence flagrante, etc ...

Pour être encore plus précis, je privilégierais plutôt Stopwatch

Salut

c'est le foreach! la chargement du fichier ne prends que 00:00:00.048

A chaque row du foreach le temps de calcule est de 00:00:00.003 +/-

le temps total est de 00:02:45:120, pour 53091 rows

C'est surtout certainement le traitement que tu fais à chaque ligne de ton fichier qui doit, proportionnellement, prendre le plus de temps.

Regarde si tu ne peux pas optimiser ton traitement afin de diminuer le temps de traitement de chaque ligne.

C'est vrai que 3 ms ça a l'air d'être pas mal, regarde au niveau de ce traitement et réfléchis à une autre manière de l'implémenter.

Citation:

---

Envoyé par Aeronia

Pour être encore plus précis, je privilégierais plutôt Stopwatch

---

Le plus précis ici n'a aucun interêt : il s'agit d'avoir les "poids" respectifs des actions.

Si tu insères ligne à ligne dans la DB, tu perd déjà beaucoup de temps.

Envisage l'utilisation d'un "bulk insert" quitte à réécrire le fichier après traitement, si le traitement est réellement nécessaire (ce qui n'est peut être pas le cas : il est possible que tes traitements soient de simples transfos pouvant être effectuées via un fichier de format).

le traitement effectué dans le foreach est relativement simple je cree un

Code:

---

1 2 3 4

TimeSpan timeStr = new TimeSpan(0, int.Parse(rowtxt.Substring(26, 2)), int.Parse(rowtxt.Substring(28, 2)), int.Parse(rowtxt.Substring(30, 2)), int.Parse(rowtxt.Substring(32, 2), System.Globalization.NumberStyles.HexNumber));

---

en suite je crée un nouveau object avec quelque attributs avec des substring aussi (je sais que le substring utilise un peut de plus de poids dans le traitement)

après le Set des donnée je additionne ça sur une List e je utilise un insertallonsubmit (avec Linq to Sql)

Tu fais donc une petite vingtaine d'opérations x 60000 lignes cad environ 1.2 millions de traitements. C'est ptet normal que ça prenne un certain temps non ? ;)

Surtout que les substring sont assez gourmands de mémoire :)

Au vu de ce post -> http://www.developpez.net/forums/d95...-nombre-ligne/

Essaye de voir du côté du StringBuilder si ça ne t'aide pas niveau perfs.

Je peut alors partagé ma liste de 60000 item en 3 ou 4 List et exécute en même temps sur de nouvelle thread.

Ça pourrai améliorer un peut le temps de traitement non?

Ou alors exécuté en parallèle avec PLinq....

Je sais pas trop!

Citation:

---

Envoyé par olifile

le traitement effectué dans le foreach est relativement simple je cree un

Code:

---

1 2 3 4

TimeSpan timeStr = new TimeSpan(0, int.Parse(rowtxt.Substring(26, 2)), int.Parse(rowtxt.Substring(28, 2)), int.Parse(rowtxt.Substring(30, 2)), int.Parse(rowtxt.Substring(32, 2), System.Globalization.NumberStyles.HexNumber));

---

en suite je crée un nouveau object avec quelque attributs avec des substring aussi (je sais que le substring utilise un peut de plus de poids dans le traitement)

après le Set des donnée je additionne ça sur une List e je utilise un insertallonsubmit (avec Linq to Sql)

---

A priori, cela peut se faire directement avec du SQL et un 'Bulk Insert'; pas grand interêt à passer par un programme client.