Discussion :

[divide]

Bonjour,

J'ai une tonne de petits calculs qui peuvent s'effectuer en parallèle, et pour simplifier je me demandais si l'OS/Proc était assez intelligent pour répartir au mieux la charge de travail tout seul (si je lance 100 threads d'un coup), ou si c'était contre-productif et que le gain était beaucoup plus important en gérant manuellement la répartition des taches par rapport au nombre de coeurs.
Ce qui m'importe est le temps de calcul global de toutes ces taches, il n'y a pas de streaming de résultat en cours de parcours et chaque calcul est indépendant.

[JolyLoic]

Généralement, l'abstraction à utiliser pour ce genre de chose est la notion de task, c'est ensuite la bibliothèque de tasking (tbb, ppl...) qui va se charger de répartir les milliers de tasks sur les quelques threads qui seront crées. Parce que cette répartition n'est pas évidente, et si tu la fais toi même, il y a des chances que tu le fasse de manière sous optimale (typiquement, soit trop de locks, soit pas assez de flexibilité par rapport aux variations de temps d'exécution d'une task à l'autre, avec du false sharing en plus) (recherche par exemple task stealing pour voir le genre d'optimisations mises en place).

[divide]

Merci, je viens de tomber sur une classe Qt qui se charge de ça de facon optimale, QThreadPool

[JolyLoic]

Que QThreadPool gère un nombre variable de threads, soit. Qu'elle le gère de manière optimale pour faire du parallélisme, non. Si chacune de tes tâches est grosse, le surcoût ne sera pas forcément visible. Si tu as des petites tâches, ce sera autre-chose.

Pourquoi n'as-tu pas regardé tbb ou ppl comme je l'avais suggéré ?

[divide]

Parce que tout mon projet est architecturé autour de Qt, c'était donc logique de regarder si il y avait ça parmi les classes proposé; et comme ce ne sont que des micro calcul dans chaque thread, l'équilibrage se fera de lui même.

[JolyLoic]

Si ce sont des micro calculs, un threadpool ne sera justement pas efficace, car son coût d'infrastructure sera plus important que les calculs eux mêmes.

[divide]

Hm.. pour être plus précis ce que j'appelle "micro calcul" dans mon contexte c'est l'équivalent de 2000 à 8000 opérations float, et j'ai entre 100 et 1000 paquets de ce genre à calculer. J'espère que QThreadPool bouffe moins que ça pour s'organiser...