Discussion :

[toutou2000]

Bonjour
J'ai une liste de fichier texte (des centaines de fichier);
Je voudrai faire un programme qui lit les fichier un à un et modifier certains information dans tous les lignes. Donc:
1.Je crée un fichier tmp pour chaque fichier existant.
2. je lit chaque fichier ligne à ligne je modifier et j'écris dans le fichier tmp.
3. je supprime le fichier existant.
4. Je renomme le fichier tmp.
ma question est ce que c'est le bon algorithme car l'exécution c'est long. est ce que il y a d'autre moyenne à faire la modification sans passer par un fichier tmp.

voila le code que j'utilise

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
 
....
            StreamReader sr = null;
            StreamWriter sw = null;
            System.Text.Encoding ANSI = System.Text.Encoding.GetEncoding(1252); 
            string ligne;
            try
            {
                //fichier Sitetic
                for (int i = 0; i < fichierSitetic.Length; i++)
                {
                    cheminFichier = fichierSitetic[i];
                    fichierTmp = cheminFichier.Replace(".txt", "_tmp.txt");
                    sr = new StreamReader(cheminFichier);
                    sw = new StreamWriter(fichierTmp,true,ANSI);
                    ligne = sr.ReadLine();                    
                    while (ligne != null)
                    {
                        if (numLigne == 0) sw.WriteLine(ligne);     
                        else
                        {
                            string [] tabLigne = ligne.Split(';');
                            tabLigne[3] = "999";
                            tabLigne[4] = "MIM";
                            //transformer une table à un string 
                            string nouvLigne = string.Join(";", tabLigne);
                            sw.WriteLine(nouvLigne);
                        }
                        ligne = sr.ReadLine();
                        numLigne++;                       
                    }
                    sr.Close();
                    sw.Close();
                    File.Delete(cheminFichier);
                    File.Move(fichierTmp, cheminFichier);
                }
            }
            catch (Exception ex)
            {
                throw ex;
            }
            finally
            {
                // Fermeture streamreader
                if (sr != null) sr.Close();
                // Fermeture streamwriter
                if (sw != null) sw.Close();
            }

merci d'avance.

[ppphil]

Si tes fichiers ne sont pas trop grands, essaie comme ça

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
      string[] lignes;
      string[] ligne;
      lignes = File.ReadAllLines("monFichier", Encoding.ASCII);
      for (int i = 1; i < lignes.Length; i++)
      {
        ligne = lignes[i].Split(';');
        ligne[3] = "999";
        ligne[4] = "MIM";
        lignes[i] = string.Join(";", ligne);
 
      }
      File.WriteAllLines("monFichier", lignes, Encoding.ASCII);

[toutou2000]

Merci de ta réponse mais malheureusement les fichier sont très grand 450 milles ligne au moyenne.

[Graffito]

est ce que c'est le bon algorithme car l'exécution c'est long

A priori, oui.
Peut-être que le traitement de chaque ligne (Split et Join) prend du termps.

Gagne-t'on un temps significatif sans traiter la ligne, c.à.d. en faisant simplement "sw.WriteLine(Ligne);" ?

[olibara]

A priori, oui.
Peut-être que le traitement de chaque ligne (Split et Join) prend du termps.

Gagne-t'on un temps significatif sans traiter la ligne, c.à.d. en faisant simplement "sw.WriteLine(Ligne);" ?

+1

La premiere chose a faire c'est de voir quel traitement prends le plus de temps

[toutou2000]

j'ai essayé ce matin sans split et Join mais je gagne pas trop de temps. à mon avis c'est les opération de lire et d'écrire qui prend plus de temps. j'ai lu un truc sur JAVA qu'on puisse utilisé les Bugffer je vais regarder sa et je vous tient au courant.

[olibara]

Dans ce cas il y a deux chose qui peuvent consommer beaucoup de temps

1- Lire et ecrire +/- en meme temps sur le meme disque physique (c'est sans doute ce que tu fais)
2- Parcourir des repertoire qui contiennent beaucoup de fichier (le temps d'acces au fichier est exponentiel)

Ne crois pas ceux qui te disent que le cache gere tres bien tout ca !
Le cache allege un peu la peine mais c'est tout

[Graffito]

Essaye de créer 2 tableaux internes de n millliers lignes, un pour les ligne lues et un pour les lignes converties. Puis lit une série de n milliers de lignes, convertit la, ecrit la et passe à la lecture de la série suivante. Sans garantie

[g_tarik0010]

Je ne sais pas si ca va t'aider mais tu peux lancer le traitement sur plusieurs threads en même temps le multithreading peut s'avérer une bonne solution aux traitement longs

[olibara]

Je ne sais pas si ca va t'aider mais tu peux lancer le traitement sur plusieurs threads en même temps le multithreading peut s'avérer une bonne solution aux traitement longs

Si la lenteur est liée aux IO multiplier les thread ne t'aidera en rien ou contraire !

[toutou2000]

Merci pour vos réponses. Mais toujours traitement très longue. Pour le moment.

[olibara]

La meilleure approche c'est vraiment d'isoler chaque process et d'evaluer le temps consommé par chacun


N.B. : il ne suffit pas de mettre plusieurs timer car le process d'ecriture et move peut affecter la lecture

En tout cas j'ai deja eu des rapport de 1 a 20 pour ce genre de manipulation simplement en separant lecture et ecriture sur deux media différents

Il n'est pas non plus impossible que tu puisse gagner beaucoup de temps en faisant tout tes move en une seule fois a la fin de la boucle. (c'est plus dangereux j'en conviens mais intéressant a tester)