Discussion :

[white_tentacle]

Bonjour,

Je vous présente un article qui, à partir d’un problème simple, présente la méthodologie et les techniques à mettre en œuvre pour arriver à une solution performante, réutilisable.

http://julien-blanc.developpez.com/t...cture-csv-c++/

Bonne lecture

[prgasp77]

Bonjour,

c'est un très bon sujet d'article ; la lecture d'un fichier CSV (un vrai, avec tous les pièges qu'il peut contenir) est parfois faite de manière bien bancale .

[MichaelREMY]

très bon article !

un BigUp! pour la partie qui traite de l'importance de la taille du fichier, qui va conditionner la méthode de lecture. On ne le dira jamais assez traiter un fichier de 400Go sur une machine perso n'est pas pareil que de le faire sur un serveur virtualisé mutualisé ou de prod. Sans parler du problème de cache, de mémoire, du temp, de ressources par utilisateur.....

Une petite astuce personnel:
maintenant je traite le problème d'encodage manuellement avec un éditeur à part, car souvent, trop souvent on tombe sur des fichiers CSV multi-encodage qui ont été mal gérés par les exportateurs....
Oui alors avant l’entrée dans la boucle, penser à une fonction juste pour tester l’intégralité du bon codage (et par la même occasion l’intégralité du fichier au cas où il est défectueux)

Une petite amélioration pour l'article: vous ne parlez pas de la source (disque dur, réseau, nas, lien dropbox, lien cloud..etc) du fichier et de son impact, de son traitement en tâche de fond plutôt qu'en foreground.

[LandReagan]

Excellent, j'en avais justement besoin !
Merci beaucoup ! Ça va m'éviter quelques heures d'arrachage de cheveux et quelques litres de café...

[Iradrille]

Une petite amélioration pour l'article: vous ne parlez pas de la source (disque dur, réseau, nas, lien dropbox, lien cloud..etc) du fichier et de son impact, de son traitement en tâche de fond plutôt qu'en foreground.

La partie VI en parle, ou du moins donne des éléments de réponse : la source des données n'a pas d'impact (autre que les performances : on peut pas traiter les données plus rapidement qu'elles arrivent).

Si tu veux faire tes traitements de manière asynchrone, rien ne change non plus

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
Threadpool pool; // ou autre
 
CSVParser parser;
parser.onField([](std::string const& f) { std::cout << f << std::endl; }); // traitement synchrone
parser.onField([&](std::string const& f) { pool.enqueue([f]() { std::cout << f << std::endl; }); }); // traitement asynchrone
 
std::vector<char> data;
for(auto c: data) {
   parser.consume(c);
}

[MichaelREMY]

La partie VI en parle, ou du moins donne des éléments de réponse : la source des données n'a pas d'impact (autre que les performances : on peut pas traiter les données plus rapidement qu'elles arrivent).

Si tu veux faire tes traitements de manière asynchrone, rien ne change non plus

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
Threadpool pool; // ou autre
 
CSVParser parser;
parser.onField([](std::string const& f) { std::cout << f << std::endl; }); // traitement synchrone
parser.onField([&](std::string const& f) { pool.enqueue([f]() { std::cout << f << std::endl; }); }); // traitement asynchrone
 
std::vector<char> data;
for(auto c: data) {
   parser.consume(c);
}

oui oui, je voulais juste dire qu'avant d'importer le fichier, il faut s'assurer, ou plutôt estimer la longeur de la large pour ne pas monopoliser (ou plutôt ennuyer l'utilisateur devant l'écran) et ainsi traiter le tout en background permettant ainsi d'afficher une chrono, une jauge. Comem fait maintenant Youtube pour l'import des vidéos. Rappelez-vous avant (dans les années 2000) où on attendez devant l'écran que l'upload se finisse pour remplir le formulaire et ensuite faire autre chose.... C'es ce point là que je voulais mettre en avant : estimer avant de travailler, même un traitement d'apparence simple...
c'est un très bon article-tuto que vous avez écrit là.

[dragonjoker59]

oui oui, je voulais juste dire qu'avant d'importer le fichier, il faut s'assurer, ou plutôt estimer la longeur de la large pour ne pas monopoliser (ou plutôt ennuyer l'utilisateur devant l'écran) et ainsi traiter le tout en background permettant ainsi d'afficher une chrono, une jauge...

Ce qui n'a strictement aucun rapport avec le parseur, mais avec la manière dont il est utilisé, donc complètement hors de propos.