Discussion :

[Plopeur]

Bonjour à tous,

Je vous explique mon soucis.
Je travaille actuellement sur un outils de compression/decompression qui peut prendre en paramètres un liste de fichiers (*.bmp, ...).

L'outil est fonctionnel, cependant dans le cadre d'une amélioration, j'aimerais que chaque processeur traite un fichier différent afin d'avoir un gain de temps à l'exécution. Est-ce possible? Et sur quelle piste dois-je me lancer? Thread, programmation parallère, ...?

Merci

[koala01]

Salut, et bienvenue sur le forum.

La question qu'il faudrait peut être se poser, c'est:

Y a-t-il beaucoup de fichiers, ou sont-ce plutôt les traitements à appliquer à chaque fichier qui prennent du temps

En effet, si tu as, globalement, peu de fichier à traiter mais que le traitement à effectuer est important, tu aurais sans doute à faire en sorte que les différents processeurs (ou coeurs) collaborent pour traiter un fichier à la fois.

A l'inverse, si tu as globalement beaucoup de fichiers mais que le traitement de chaque fichier prend peu de temps, il semblera en effet opportun de faire en sorte que chaque processeur (ou coeur) effectue le traitement sur un fichier particulier.

Le fait est que cela influera fortement sur la manière dont tu envisagera le travail en parallèle

[Plopeur]

Merci pour ta réponse

Alors pour expliquer un petit peu mieux, le traitement est assez rapide (< 1 seconde par fichier), mais la liste est assez importante ( > 100 fichiers) sans être monstrueuse. Je pense qu'il est préférable que chaque fichier soit traité par par un seul et unique processeur.

Je suis totalement débutant sur ce sujet, j'ai essayé de me renseigner sur internet, mais je ne trouve pas grand chose, certainement parce que je ne sais pas trop par où commencer.

[Mac LAK]

Une solution en général efficace sur un grand nombre de données demandant peu de calculs, c'est le principe de la pompe.

En gros : un thread "pompe", sur un des coeurs, ne va faire QUE lire et mettre en buffer les données (le contenu des fichiers pour toi), et les mettre dans une FIFO dédiée.
Un autre thread (éventuellement deux ou trois si les tests montrent que c'est efficace) ne va s'occuper QUE du traitement, remettre les données traitées dans une autre FIFO que ton thread "pompe" va lire, pour écrire les données traitées vers leur destination finale (des fichiers encore dans ton cas).

Cela marche parce que le thread "pompe", une fois les données chargées, n'a plus rien à faire : donc, sauvegarder les données ne lui pose pas de problèmes étant donné qu'il est, justement, disponible. En cas de trop grand nombre de données, tu peux avoir à créer un autre thread "pompe" pour l'écriture.

L'important, c'est de laisser les threads "pompe" sur un cœur dédié, qui ne sera pas utilisé par le(s) thread(s) de traitement.