Optimisation lire un fichier CSV, le séparateur est un ;

**SoaB** · 11/04/2006, 09h10

Bonjour à tous.

Je travail dans environnement Windows.
J'effectue actuellement des essais pour une lecture d'un fichier CSV (476mo) avec comme séparateur un ; (point virgule).

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
 
std::ifstream fichier( "c:/test.csv" );
 
    if ( fichier ) // ce test échoue si le fichier n'est pas ouvert
    {
        std::string ligne; // variable contenant chaque ligne lue
 
        // cette boucle s'arrête dès qu'une erreur de lecture survient
        while ( std::getline( fichier, ligne ) )
        {
            // afficher la ligne à l'écran
          istringstream iss( ligne );
			string mot;
			while ( std::getline( iss, mot, ';' ) )
			{
				if (mot=="test")
					mot = "test";
				else
					mot = "bouh";
			}
 
        }
    }

Ca met pas loin de 3/4 d'heure pour effectuer ce bout de code.
l'équivalent en C# met 40 secondes

Pourquoi une telle différence ? (ou se situe t-elle ?)
Comment optimiser.

pour ceux qui n'auraient pas compris, je lit le fichier ligne par ligne, je split la ligne par le ; puis je fais une condition sur chaque partie du split.
(c'est un truc bidon histoire de)

Merci pour votre aide.

**Higestromm** · 11/04/2006, 09h32

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

if (mot=="test") mot = "test";

Déja ca sert pas a grand chose de faire ca...

Ensuite Essai de regarder la partie du code qui est la plus longue a s'executée Lecture / Traitement.

Pour la lecture, peut etre qu'une lecture dans un plus gros buffer serais plus rapide qu'une multitude de petits acces.

**SoaB** · 11/04/2006, 09h39

la condition est totalement inutile c'est évident, mais c'était juste histoire de

La plus longue c'est bien évidemment la boucle pour splitter la ligne. Je n'ai pas trouvé autre chose pour splitter une chaine par un séparateur.

**Higestromm** · 11/04/2006, 09h57

Envoyé par SoaB

la condition est totalement inutile c'est évident, mais c'était juste histoire de

La plus longue c'est bien évidemment la boucle pour splitter la ligne. Je n'ai pas trouvé autre chose pour splitter une chaine par un séparateur.

Est ce que ce n'est pas plus rapide de rechercher le caractere ; dans ta chaine et de faire des substrings ?

**Aurelien.Regat-Barrel** · 11/04/2006, 10h04

Si c'est pour lire des mots séparés par un ';', tu peux fusionner les 2 getline.
Mais le code de la FAQ que tu as repris sert à dépanner. Des liens vers des solutions plus performantes sont donnés.

**superspag** · 11/04/2006, 12h30

Personnellement, pour faire ce genre de traintement j'utilise "tokenizer" de boost...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
 
  ...
  #include <boost/tokenizer.hpp>
  ...
 
  // Choix du separateur :
  char_separator<char> sep(";");
  // Parsing :
  typedef tokenizer< char_separator<char> > tokenizer;
  tokenizer tokens(les_datas_a_parser, sep);
 
  // C'est l'objet "tokens" qui contient les données parsées :
  for(tokenizer::iterator tok_iter = tokens.begin();
      tok_iter != tokens.end();
      ++tok_iter)
  {
    // Traitement sur les données :
    tab_truc.push_back(*tok_iter); // Par exemple
  }

¨
Par contre je ne sais pas ce que ça donne niveau perf...

**SoaB** · 11/04/2006, 13h25

On va rester sur C#, je pensais que C/C++ allait permettre d'avoir des bonnes performances d'entrée de jeu mais en fait non. Puis trop la galère après pour faire les autres traitements (entre autre accès à une BdD).

Donc C# est très performant apparemment donc ca suffira bien.

merci bien à tous.

**la drogue c'est mal** · 11/04/2006, 17h47

ce qui est le plus "gourmand" en terme de durée ce sont les Entrée/Sortie vers le disque dur, dans ton cas la lecture via std::getline( fichier, ligne )

en lisant par (gros) buffer et non par ligne tu gagneras du temps