Discussion :

[arcane86]

Je travaille sur des données extraites de fichiers et la vitesse de traitement importe pour mon application.
Je suis obligé de traiter de petits volumes de données (de l'ordre de 500Ko) à la fois sur des fichiers de plusieurs dizaines de Mo.

Je voulais savoir si faire des file.Read() tous les 500Ko est couteux en temps par rapport à mettre en place un buffer circulaire.
Du genre je lis 10Mo à la fois dans le fichier dans un thread et je traite 500Ko à la fois dans un autre (et quand j'ai presque tout traité je recharge 10 Mo).

Lors de mes tests j'arrive à peu près à la même chose, mais je suis pas sur que mon buffer circulaire soit une réussite ...

En gros dois-je retravailler le truc ou alors je laisse les CFile::Read() ?

[farscape]

salut , une approche concurrentielle peut te faire gagner du temps en utilisant TBB et ce qui ressemble a un pattern pipeline .
genre un train de données arrive un thread s'en occupe , puis un autre il y a un modèle pour ça, l'avantage est que tu travailles sur tous les cœurs de ta machine à la fois.
j'ai plus l'exemple en tête faudrait que je re-consulte le livre.
A toi de voir si l'aventure en vaut la peine ...
[edit]
j'ai retrouvé la doc en ligne :
http://www.threadingbuildingblocks.o...s.php#pipeline
[/edit]

[arcane86]

Merci je vais regarder ça

J'ai encore du simple cœur dans la bécane, alors je connaissais pas TBB, mais bon pourquoi pas si mettre.
En tout cas je vais surement "threader" le programme pour gérer la lecture et le traitement de donnée en concurrence.

On verra la hausse de perf' que j'obtiens, mais même un peu c'est toujours ça !

[farscape]

sur du mono-coeur tu ne gagneras rien avec tbb , par contre quand tu vas passer ton code non optimisé sur une machine récente genre 2 ou 4 cœurs, la tu vas pleurer des perfs ...
il suffit de regarder la charge CPU pour le constater.