Optimisation : remplacement dans un fichier

Salut,

je cherche à virer un caractère dans un fichier contenant de nombreuses lignes. (en fait je veux virer les guillemets d'un fichier csv)

Mise à part ouvrir le fichier ligne par ligne et faire un String.Replace(), quel serait le moyen le plus adéquat (et performant) ?

Ouvrir le fichier en hexa ? Lire un stream sans s'occuper du format du fichier ? ...

:bug:

Alors moi je dirais que y'a pas de moyen meilleur qu'un autre.

Dans tous les cas tu aura un accès sequentiel et une modification une à une.

Après peut-être que lire le fichier ligne par ligne, supprimer les " et recopier dans un nouveau fichier est moins couteux, puisque à chaque fois tu ne dois pas tout décaler dans ton fichier.

J'étais parti sur un stream :

Code:

---

1 2 3 4 5 6 7 8 9 10

StreamReader read = new StreamReader(File.OpenRead(FicApplis)); string data = read.ReadToEnd(); read.Close();   data = data.Replace("\"", string.Empty);   StreamWriter write = new StreamWriter(FicApplis, false); write.Write(data); write.Flush(); write.Close();

---

mais je risque peut-être de tout exploser si le fichier est trop grop, vu que je le charge en entier dans le string data ? :oops: (je peux le découper en quelques morceaux)

un string ne peut pas exploser je pense

sinon la classe system.text.stringbuilder est un genre de string amélioré et beaucoup plus performant (pas pareil à utiliser, append permet de rajouter des caractères, tostring te retourne la valeur as string)
son replace est ptete mieux ...

OK, je regarderai ça demain.

Je pense qu'il faudrait mieux lire ligne par ligne (ou morceau de taille fixe par morceau de taille fixse) si le fichier peut avoir une taille qui dépasse les quelques dizaines de Mo (car là, ton programme va le sentir le string ...), par contre si tes fichiers ne dépassent jamais 5 Mo ce n'est même pas nécéssaire ...

Fichiers de 1 à 2 Mo à priori.

avec regexp on ne peut pas traiter tout un fichier d'un coup ?

Cela serait possible effectivement avec les expressions régulières. A la va vite, cela donnerait quelque chose comme ça je pense

Code:

---

1 2 3 4 5 6

string str = "truc;super;toto;machin"; str += Environment.NewLine + "\"1\";\"super chouette\";\"ptdr\";quoi ?"; str += Environment.NewLine + "\"2\";\"trop cool\";\"rofl\";comment ?";   // On supprime les guillemets qui encadrent les valeurs string s1 = Regex.Replace(str, "\"(.*?)\"", "$1");

---

Mais pour ce qui est de tout traiter d'un coup, suivant la longueur de la chaîne, ce n'est peut être pas aussi performant qu'une lecture séquentielle, à tester.

Par contre après il faut aussi gérer les guillemets doublés (lorsqu'il y a un guillemet dans la valeur) et c'est peut être plus simple à faire avec une expression régulière qu'avec un remplacement par la méthode string.Replace.

Les regex intuitivement je me dis que c'est moins rapide, vu que le programme va devoir faire de multiples opérations de recherche/comparaison de sous-chaînes, alors qu'en lecture séquentielle il suffit de lire et comparer chaque caractère 1 fois.

Et ouvrir le fichier en binaire (plutôt qu'en texte) ça apporterait quelquechose ? Toujours intuitivement :oops: je me dis que ça irait plus vite.

Pas forcément ... en l'ouvrant en binaire, comment tu remplaces la chaine ? :roll:

Citation:

---

Envoyé par smyley

Pas forcément ... en l'ouvrant en binaire, comment tu remplaces la chaine ? :roll:

---

C'est juste un caractère que je veux remplacer, je peux alors rechercher la valeur binaire de ce caractère, non ? (en fait je dis ça mais je sais même pas à quoi ça ressemble un fichier ouvert en binaire :mrgreen:)

Le truc c'est qu'il faudra que tu lises byte par byte en espérant que le caractère que tu veux remplacer tient sur un byte. Si ce n'est pas le cas (vive l'Unicode) tu sera encore plus mis à mal. Ensuite, la lecture byte par byte en .NET est d'une lenteur affreuse et pour avoir une vitesse équivalente à la lecture ligne par ligne en mode "texte", il faudrait utiliser un buffer de lecture pour stoquer quelques milliers de bytes à l'avance pour éviter au maximum d'accéder au flux ... Et là ça commence à faire la méthode du bazooka ... :?

C'est noté. ;)