Discussion :

[kidpaddle2]

Bonjour,

Je cherche à faire des traitements simples sur des fichiers CSV en C++, afin de gagner en rapidité par rapport aux macros VBA dont je dispose sous Excel.

The tricky part : lesdits fichiers comportent des centaines de colonnes et des milliers de lignes. Il me faut donc un algo béton pour la lecture des CSV, et j'ai beau réfléchir (taille du buffer d'entrée, utilisation de tableaux ou fichiers intermédiaires...), je ne trouve pas "L'Idée" qui me permettrait de profiter de la puissance du C++ (la SL devrait jouer un bon rôle, mais où ? J'ai même pensé à la métaprogrammation, mais rien ne peut être optimisé à la compilation... J'étudie aussi les patrons en ce moment, pour voir...) pour réduire le temps de traitement de quelques heures à quelques minutes .

Imaginons que je doive tout simplement sommer chaque colonne (toujours le plus rapidement possible). Comment fairiez-vous ?

Merci d'avance.

Cordialement,

Kidpaddle2

[Joel F]

la memoire eant plus rapide que le disque, lit tout ou partie de ton fichier dans un tableau et effecteu tes calculs dedans. Au pire,utilise un fichier mappé en mémoire (cf boost::filesystem et/ou boost::asio pour ça) que tu lis de manière asynchrone.

Apres 100 colonnes x 1000 lignes, c'ets pas enorme hein.

[kidpaddle2]

Merci de ta réponse. En fait je pensais plus à 70x70000, ce qui ferait 392Mo en mémoire... Une barette de RAM de 512Mo juste pour mon programme, je trouve cela quelque peu excessif... Et vive les dangers si les CSV sont des logs qui augmentent avec le temps !

Bien sûr, les performances sont ma priorité, mais si je pouvais réduire l'utilisation mémoire en restant rapide, ça m'arrangerait.

Une idée ?

Edit: Et encore, c'est à supposer que j'arrive à stocker les cellules directement en double, sans passer par std::string... Donc sans compter les titres des colonnes et des lignes.

[Joel F]

400 Mo c'ets je repete un peu rien. Je manipule des logs de 2+Go sans chercher à faire du vraiment optimisé. Je fais juste de la lecture asynchrone dans des fichiers mappés et ca passe tout seul.

[kidpaddle2]

Merci de tes réponses rapides, c'est toujours plus sympa de converser à quelques minutes d'intervalle que quelques jours (voire rien).

Bon... Après tout, si le programme est rapide l'utilisation mémoire ne devrait pas durer longtemps. Pourquoi pas ? Par contre, il faudrait vraiment que j'y gagne, parce que j'insiste que le coeur même de la qualité du programme réside en sa rapidité, peu importe la complexité (c'est pour moi d'abord, puis ma boîte).

Et sinon, que penses-tu de lire par getline() dans un std::istream (quels sont les avantages de boost::istream par rapport au std:: ?) ? Je n'arrive pas à me rendre compte de la rapidité...

[white_tentacle]

Déjà, il faut voir le format de ton csv. Parce que getline n'est pas une bonne solution si le csv contient des sauts de ligne dans ses valeurs (ça existe).

Ensuite, si tes calculs sont uniquement monolignes, tu peux te contenter d'avoir une seule ligne à la fois en mémoire.

J'ai fait un bout de code en C++ qui fournit un template de parseur CSV (basé sur des traits, pour pouvoir parser des formats différents), je peux poster ça ce soir si ça t'intéresse.

Sinon, puisqu'il s'agit d'une somme que tu veux faire, personnellement, j'aurais comme approche naïve de faire les sommes au fil de l'eau (c'est à dire, au fur et à mesure que tu avances dans le csv). Attention par contre, cette méthode est fortement sujette à des erreurs de calcul sur les flottants (ça peut être un problème comme ne pas l'être, tout dépend des valeurs et de l'erreur acceptable).

[Joel F]

Et sinon, que penses-tu de lire par getline() dans un std::istream (quels sont les avantages de boost::istream par rapport au std:: ?) ? Je n'arrive pas à me rendre compte de la rapidité...

Au dela de qqs Mo, je passe trjrs par des ficheirs mappés. Y a tt ce qui faut dans boost::iostreams