Discussion :

[transgohan]

Salutatations à toutes et à tous,

je cherchais depuis un moment un souci de performance qu'on decouvrait sur une application qui utilise plusieurs pthreads.
On avait des temps de création de contexte incompréhensible.

Je viens d'en trouver la raison mais sans pour autant pouvoir l'expliquer.
Je m'explique...

La création de 10 000 pthreads depuis un process met 570ms sur ma machine (x86, linux ubuntu 12.04).
Maintenant créons un pthread et lançons les 10 000 pthreads à partir de ce thread !
Et c'est là que cela devient intéressant... On saute à 3300ms environ de temps de création !

Quelqu'un aurait-il une piste à explorer pour expliquer ce phénomène ?

[transgohan]

Même bench lancé sur une architecture ARM et une POWERPC pour obtenir des résultats allant dans l'autre sens...
Les deux cas lancé avec un linux non patché temps réel (pour rester comparable avec ubuntu).

Du coup mes résultats x86 sont fortement remis en question...
Le tout est d'arriver à les expliquer maintenant.
Il y aurait une librarie pthread par architecture on pourrait mettre ça en devant mais là...

Va falloir que je mette en place des tests sur système RT pour être sûr d'avoir des valeurs qui restent fixes.

[Emmanuel Deloget]

Même bench lancé sur une architecture ARM et une POWERPC pour obtenir des résultats allant dans l'autre sens...
Les deux cas lancé avec un linux non patché temps réel (pour rester comparable avec ubuntu).

Du coup mes résultats x86 sont fortement remis en question...
Le tout est d'arriver à les expliquer maintenant.
Il y aurait une librarie pthread par architecture on pourrait mettre ça en devant mais là...

Va falloir que je mette en place des tests sur système RT pour être sûr d'avoir des valeurs qui restent fixes.

Ce n'est pas dépendant de la librairie, mais de l'appel système sous-jacent, et du travail que doit faire l'OS pour s'y retrouver. Selon la configuration du kernel, du scheduler utilisé, et de plein d'autres paramètres, ça peut être long ou moins long.

Si tu veux mieux comprendre ce qui se passe, c'est dans les sources du kernel qu'il faut aller voir, du coté de kernel/fork.c si ma mémorie est bonne (clone(), qui est l'appel système qui est utilisé pour créer un thread, appelle la fonction do_fork() avec les flags qui vont bien pour ne pas créer un nouveau processus). Le code est en apparence simple à suivre, mais il y a quelques subtilités ici et là.

Ensuite, si tu veux vraiment comprendre ce qui ralentit la création des thread, il ne faut surtout pas hésiter à utiliser l'outil perf livré avec le kernel - il te permettra entre autre de faire un profiling en live du kernel.

[transgohan]

Bon résultat de l'affaire... J'ai fini par tout faire tourner sur un OS temps réel.
Et là les temps sont égaux.
Note : cependant que si on désactive le swap on fait exploser les résultats.

Comme je n'ai que des cibles finales temps réel je vais pas me casser la tête sur mon pauvre ubuntu... D'autant plus que c'est pas optimal pour les tests j'en conviens vu que j'ai plein de trucs qui tournent en parallèle.

Mais c'est quand même marrant de voir ce genre de résultats...
Car c'est pas un résultat de charge temporaire, j'ai tourné le script dans tous les sens et lancé le bench une petite vingtaine de fois et j'obtiens toujours les mêmes écarts.