Discussion :

[Mopmop]

Bonjour,

J'ai une application que j'ai voulu optimiser avec des threads.
En gros j'ai un certain nombre d'objet, et j'ai une fonction qui effectue un traitement d'environ 10secondes sur chacun de ces objets.

J'ai décidé de threader le tout et donc mes objets sont dans une pile et j'ai N thread qui viennent faire un pop() sur la pile et font leur petite affaire dans leur coin.

Au début je pensais qu'idéalement il fallait avoir autant de threads que de cœurs, pas un de plus, pas un de moins. J'ai donc mis 4 threads, j'ai pas eu de vrai gains de perf. J'ai tenté 2 et 8 threads, toujours pas de vrai gain.

J'ai donc pété mon cable et j'ai mis 40 threads... et là, magie, temps de traitement divisé par 4 !
J'ai donc encore plus pété mon câble et j'en ai mis 100... mais là le tas n'a pas aimé .

Ma question est donc simple : comment qu'on calcule le nombre de threads optimal qu'il nous faut ?

Dans mon cas, les thread font quelques requêtes HTTP, donc j'imagine que c'est ça qui explique qu'il soit plus rentable d'avoir plus de threads que de coeurs (le temps que la requête fasse l'aller retour, d'autres threads peuvent bosser)... m'enfin c'est qu'une supposition et je suis pas vraiment sûr de ce que je raconte.

Voilà voilà, donc please éclairez my lanterne

Thx !

[wax78]

Dans mon cas, les thread font quelques requêtes HTTP, donc j'imagine que c'est ça qui explique qu'il soit plus rentable d'avoir plus de threads que de coeurs (le temps que la requête fasse l'aller retour, d'autres threads peuvent bosser)... m'enfin c'est qu'une supposition et je suis pas vraiment sûr de ce que je raconte.
!

En effet si tu as plein d'I/O "bloquantes" dans les threads, cela pourrait tres bien expliquer ton gain.
Dans le cas contraire, tu va finir pas avoir trop de thread qui se battent pour le processeur.

[JoeChip]

Tu peux aussi faire un truc qui mesure si on peut ajouter un thread de plus

[sinok]

Accessoirement, si tu veux vraiment optimiser tes traitements, fais en sorte que plusieurs instances de ton application puissent tourner en parallèle.

En effet, il a été démontré que l'OS réparti mieux les ressources sur 4 JVM de taille moyenne que sur une seule JVM phagocytée...

[tchize_]

Ma question est donc simple : comment qu'on calcule le nombre de threads optimal qu'il nous faut ?

Exactement comme tu l'a fait: par la mesure

[NicoL__]

Sinon comment les thread sont créés ?
Avec cette ExecutorService.newCachedThreadPool
Cela devrait engendré un pool de thread de la bonne taille en bouclant dessus pour lancer les thread.

[Mopmop]

Tu peux aussi faire un truc qui mesure si on peut ajouter un thread de plus

Comment ? Je vois pas bien comment on peut juger dynamiquement si on peut ajouter un thread ou non...

Accessoirement, si tu veux vraiment optimiser tes traitements, fais en sorte que plusieurs instances de ton application puissent tourner en parallèle.

En effet, il a été démontré que l'OS réparti mieux les ressources sur 4 JVM de taille moyenne que sur une seule JVM phagocytée...

C'est trop compliqué pour que ça vaille le coup dans mon cas, mais c'est bon à savoir, j'y penserai si j'ai des gros problèmes d'optimisation.

Exactement comme tu l'a fait: par la mesure

Le problème de la mesure en tâtonnant comme je l'ai fait c'est qu'à la fin j'ai le nombre optimal de thread pour MA machine... c'est pas portable comme méthode

Sinon comment les thread sont créés ?
Avec cette ExecutorService.newCachedThreadPool
Cela devrait engendré un pool de thread de la bonne taille en bouclant dessus pour lancer les thread.

Je fais un truc tout con :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
for ( int i = 0 ; i < nombreDeThreads ; i++ )
                new ThreadQuiGetInfos().start() ;

et en avant la musique...
Je connais pas les pool de threads, j'irai voir de ce côté à l'occasion.


Ceci dit, je suis très content des performances de mon appli, donc je ne cherche pas à l'optimiser d'avantage, mais seulement à savoir comment rendre mon optimisation "portable".
Pour l'instant je prévois de faire 10 threads par coeur disponible (valeur optimale pour moi), mais c'est plus un coup de poker qu'autre chose...

[tchize_]

Si t'as vraiment besoin d'adapter à l'hote, sache que ta valeur dépendra:
de ton algorithme
de la vitesse et la latence du réseau
de la surcharge du serveur distant visé
de la mémoire disponible
des process en cours d'exécution.
de la jvm

Soit t'as plein de machine dispo et tu cherche un optimum général
Soit tu prend une valeur à pif qui donne des bon truc chez toi
Soit tu fait de la mesure en temps réel. Genre démarrer 10 thread, et ajouter 2 par deux en mesurant en continu le temps moyen de traitement. Quand ca commence à décroitre, tu "suppose" avoir atteind l'optimal.

[Mopmop]

Si t'as vraiment besoin d'adapter à l'hote, sache que ta valeur dépendra:
de ton algorithme
de la vitesse et la latence du réseau
de la surcharge du serveur distant visé
de la mémoire disponible
des process en cours d'exécution.
de la jvm

Soit t'as plein de machine dispo et tu cherche un optimum général
Soit tu prend une valeur à pif qui donne des bon truc chez toi
Soit tu fait de la mesure en temps réel. Genre démarrer 10 thread, et ajouter 2 par deux en mesurant en continu le temps moyen de traitement. Quand ca commence à décroitre, tu "suppose" avoir atteind l'optimal.

En effet il y a plein de facteurs qui entrent en jeu, donc je pense que le meilleur moyen est la mesure en continu... suivant les performances sur d'autres machine j'essayerai cette solution.

Thx