Que peut apporter le multithread au développement de jeux ? [Débat]

**Fraggy** · 12/03/2009, 17h39

Envoyé par shenron666

dommage

c'est pour ca que j'ai fais des vidéos :p

http://www.acclib.com/2009/01/perfor...balancing.html

(regarde la première vidéo)

Envoyé par shenron666

je compare ton image en pièce jointe et l'image modifiée que j'ai postée (ou même celle que je vois), elles sont identiques pour moi

sinon oui je suis sous firefox, mais si je regarde ce que génère IE et c'est strictement la même chose

j'ai juste ajouté des chiffres sur l'échelle horizontale, plus le "1" sur l'échelle des gains et des pointillés

crosspost
c'est pour ça que j'ai stressé (les chiffres en horizontal) !!!

Envoyé par shenron666

question : ta bibliothèque est facilement intégrable sur une démo existante ?
il ne te serai pas possible de regarder pour une démo intéressante dans laquelle tu intègrerais Acclib ?

a priori il me faut un développeur qui connait (très bien) ODE et un autre qui a déjà coder des algos genre bump mapping (en software)
Je connais pas bien le domaine de développement de JV pour le faire tout seul...

**shenron666** · 12/03/2009, 18h02

Envoyé par Fraggy

c'est pour ca que j'ai fais des vidéos :p

désolé mais les vidéos ça ne me parle pas pour les perfs
je sais, je suis difficile

crosspost
c'est pour ça que j'ai stressé (les chiffres en horizontal) !!!

mais mon interprétation est bonne ou non ?

Je connais pas bien le domaine de développement de JV pour le faire tout seul...

tu as cherché du côté de ODE, voir si déjà tu pouvais trouver quelqu'un dans la communauté, quitte à faire abstraction du bump mapping dans un premier temps
désolé de ne pas être assez calé pour t'aider de ce côté là

**Fraggy** · 12/03/2009, 18h34

Envoyé par shenron666

désolé mais les vidéos ça ne me parle pas pour les perfs je sais, je suis difficile

la premiere vidéo montre le fonctionnement (ajout de thread ajout de sphères)
les autres ont été faites pour le stress test : je dis a haute voix chaque valeur et je fais les courbes en fonction de cela...
si tu veux tu peux reécouter chaque vidéo et noter le dernier nombre de je prononce, si tu fais une courbe tu aura les même résultats

si je te présente la démo en IRL ca fera la même chose + ou - (vu que je continue de coder ça s'améliore, par exemple les derniers test sur le corei7 donne 12000 sphères au lieu de 10000)

Envoyé par shenron666

mais mon interprétation est bonne ou non ?

je t'ai fais un post de réponse un peu avant. en gros le pb viens du fais que j'ai pas de valeur a 2 et 3 coeurs pour le test de pov ray je n'ai que la valeur a 4 et 1 coeur... pour moi la courbe jaune (pov ray) devrait avoir la même gueule que la rouge (acclib)...

Envoyé par shenron666

tu as cherché du côté de ODE, voir si déjà tu pouvais trouver quelqu'un dans la communauté, quitte à faire abstraction du bump mapping dans un premier temps
désolé de ne pas être assez calé pour t'aider de ce côté là

C'est sans fin :p

- Un jour, je viens voir mon frère je lui dis : je peux paralléliser les JV, facile, pas de pb, chuis le meilleur etc... Au lieu de me féliciter, il me répond "sur le papier, ok mais faut le prouver"
- Puis, on arrive a un Proof of concept en C++ avec des sphères en 2D, le truc pourrit (visuellement parlant). on arrive a 8000 sphères en 4 coeurs : on est les plus fort !!! On présente la démo a des développeurs du JV, au lieu de nous congratuler, ils nous répondent : "n'importe qui peut faire du 8000, en 3D même... on veut avoir plus d'explications, on veut voir le code...pour être sur (ce que je conçois)"
- Donc, je me met a essayer d'architecturer le code pour qu'on puisse le voir... (je veux pas tout montrer, juste la partie qui permet de faire le JV). Je le montre a une connaissance, il me répond "ok, en 3D c'est pas mieux ?"
- c'est reparti, je refais la démo en 3D et me voila...

Imaginons...
Si je pars sur l'intégration d'ODE, ca sera, "OK mais pour la 3D on fait quoi ?, on peut pas paralléliser la physique sans s'occuper de la 3D...". puis ça sera "OK, mais dans un vrais JV... ca va marcher ?" alors je gagne à euromillion et je fais mon premier JV et a ce moment la ca va etre, "ok mais ca marche dans ton jeu, mais est ce que je pourrais l'intégrer dans le mien ?"
etc....

je veux bien encore bosser mais je peux pas payer les gens avec qui je vais travailler

et comme je voudrais monter ma boite autour de ce produit, je vais pas faire appel à la communauté des développeurs

Je cherche un client/partenaire motivé pour faire une démo plus visuelle, plus orientée JV...

**shenron666** · 12/03/2009, 23h23

Envoyé par Fraggy

je t'ai fais un post de réponse un peu avant. en gros le pb viens du fais que j'ai pas de valeur a 2 et 3 coeurs pour le test de pov ray je n'ai que la valeur a 4 et 1 coeur... pour moi la courbe jaune (pov ray) devrait avoir la même gueule que la rouge (acclib)...

la même gueule voir un peu meilleure
la courbe Acclib s'essoufle dès le 3ème coeur
et povray ou cinebench ne faisait que du rendu le parallélisme est plus facilement optimisé

en tout cas je comprend mieux, ta "courbe" jaune est une interpolation linéaire entre 1 et 8 threads
d'où l'absence de points de long de la courbe

si tu veux tu peux jongler avec ce comparatif qui inclus les résultats de 103 processeurs (cinebench et 3dsmax entre autres)

**Fraggy** · 12/03/2009, 23h54

Envoyé par shenron666

en tout cas je comprend mieux, ta "courbe" jaune est une interpolation linéaire entre 1 et 8 threads
d'où l'absence de points de long de la courbe

je devrais installer pov ray et faire le test moi même...
-> laurent, ca te dit ?

**LeGreg** · 13/03/2009, 21h52

Envoyé par Fraggy

j'ai pas fais de tests, juste repomper sur Internet. J'ai pris celui qui faisait le plus de gain

. Si vous trouvez un test qui donne mieux que 4.32 sur pov ray, je suis preneur...

Si tu lances povray sur deux/trois/quatre machines différentes (rendering farm) pour des images différentes c'est quoi le gain obtenu ?

De plus tout dépend du temps de rendu d'une frame (si la frame est calculée en moins de temps qu'il n'en faut pour la véhiculer sur le réseau ou si au contraire le temps de déplacement sur le réseau est très négligeable par rapport au temps de rendu).

LeGreg

**Fraggy** · 13/03/2009, 23h25

Envoyé par LeGreg

Si tu lances povray sur deux/trois/quatre machines différentes (rendering farm) pour des images différentes c'est quoi le gain obtenu ?
De plus tout dépend du temps de rendu d'une frame (si la frame est calculée en moins de temps qu'il n'en faut pour la véhiculer sur le réseau ou si au contraire le temps de déplacement sur le réseau est très négligeable par rapport au temps de rendu).
LeGreg

C'est clair qu'on peut pas comparer pov ray et un Jeu Vidéo

la parallélisation du premier se fait uniquement par découpage de l'image à afficher, le deuxième devant afficher 50 images secondes, tu auras beau faire, difficile d'appliquer le même principe (pour du multicoeur, du multiprocesseurs ou du farming)

:p
ce graphique n'a pas vocation de dire qu'une application est meilleure qu'une autre : crysis est vraisemblablement plus complexe et magnifiquement codé que mon aquarium a balle.
Je compare seulement le gain de performance en fonction du nb de coeurs disponible...

**Matthieu Brucher** · 14/03/2009, 00h02

Envoyé par Fraggy

Je compare seulement le gain de performance en fonction du nb de coeurs disponible...

Ce qui n'a aucun sens ici. Si tu veux vraiment faire une comparaison avec du sens, c'est un coeur vs 2 coeurs vs 4 coeurs et non 1 thread vs 2 threads vs 4 threads. Sachant que la bande passante mémoire est partagée, que plus on a de threads, plus c'est embouteillé, sans compter la localité de la mémoire plus critique, utiliser un thread sur les 8 ou 2 ou 4 n'est pas une mesure de performance pertinente.

Tu dis toi aussi que povray n'est pas un bon bench pour une cible JV, prends qqch de plus pertinent. 4.32 sur 8 threads, c'est rien. Dans mes codes, je peux aller plus haut. Il suffit de limiter les coms et synchros. Facile.

**Fraggy** · 14/03/2009, 00h32

Envoyé par Matthieu Brucher

Ce qui n'a aucun sens ici. Si tu veux vraiment faire une comparaison avec du sens, c'est un coeur vs 2 coeurs vs 4 coeurs et non 1 thread vs 2 threads vs 4 threads. Sachant que la bande passante mémoire est partagée, que plus on a de threads, plus c'est embouteillé, sans compter la localité de la mémoire plus critique, utiliser un thread sur les 8 ou 2 ou 4 n'est pas une mesure de performance pertinente.

Si je lance 1 thread dans mon programme c'est pas la même chose que si je réduis l'affinité à un coeur ?
J'avoue que je me suis pas vraiment poser la question... en quoi ca va changer les résultats en terme de gain de performance ? (j'ai essayé au départ et j'avoue que j'avais pas vu de différence)

Envoyé par Matthieu Brucher

Tu dis toi aussi que povray n'est pas un bon bench pour une cible JV, prends qqch de plus pertinent. 4.32 sur 8 threads, c'est rien. Dans mes codes, je peux aller plus haut. Il suffit de limiter les coms et synchros. Facile.

on est en train de refaire les tests sur pov ray, et c'est clairement meilleur que le test que j'ai trouvé sur internet...

**Matthieu Brucher** · 14/03/2009, 09h11

Envoyé par Fraggy

Si je lance 1 thread dans mon programme c'est pas la même chose que si je réduis l'affinité à un coeur ?
J'avoue que je me suis pas vraiment poser la question... en quoi ca va changer les résultats en terme de gain de performance ? (j'ai essayé au départ et j'avoue que j'avais pas vu de différence)

Ce n'est pas une question d'affinité seulement. Il n'y a pas que le positionnement du thread sur ton coeur, il y a aussi sa mémoire, la bande passante, ... Au moins au niveau architecture, si tu ne vois pas ce qui se passe, je doute que tu puisses vraiment faire une bibliothèque optimisée.

**Fraggy** · 14/03/2009, 11h59

Envoyé par Matthieu Brucher

Ce n'est pas une question d'affinité seulement. Il n'y a pas que le positionnement du thread sur ton coeur, il y a aussi sa mémoire, la bande passante, ... Au moins au niveau architecture, si tu ne vois pas ce qui se passe, je doute que tu puisses vraiment faire une bibliothèque optimisée.

Essaye de m'en dire plus, comment aurais tu fais pour tester mes gains de perf ?
tu aurais mis 4 threads ou 8 threads (nb max core ou de threads hardware) et tu aurais utilisé l'affinité ?

**Matthieu Brucher** · 14/03/2009, 18h06

Envoyé par Fraggy

Essaye de m'en dire plus, comment aurais tu fais pour tester mes gains de perf ?
tu aurais mis 4 threads ou 8 threads (nb max core ou de threads hardware) et tu aurais utilisé l'affinité ?

Oui, c'est le seul moment où tu mesures vraiment les capacités de ton code face au multi-coeurs. Mais une fois encore, l'affinité ne suffit pas pour avoir des performances optimales. Je ne sais pas si c'est même faisable sous Windows.

**Fraggy** · 14/03/2009, 18h28

Envoyé par Matthieu Brucher

Oui, c'est le seul moment où tu mesures vraiment les capacités de ton code face au multi-coeurs. Mais une fois encore, l'affinité ne suffit pas pour avoir des performances optimales. Je ne sais pas si c'est même faisable sous Windows.

Saurais tu me dire quel est l'écart auquel je devrais m'attendre ?

Je veux prouver que mes gains sont linéaires ( pour valider le modèle de parallélisation auprès de mes clients). Mais y a encore de l'optimisation possible, il doit être possible de faire monter la courbe (de gain) encore plus. Je m'en occuperais quand j'aurai le temps (la c'est recherche de partenaire et client)

**Matthieu Brucher** · 14/03/2009, 19h03

Envoyé par Fraggy

Saurais tu me dire quel est l'écart auquel je devrais m'attendre ?

Je veux prouver que mes gains sont linéaires ( pour valider le modèle de parallélisation auprès de mes clients). Mais y a encore de l'optimisation possible, il doit être possible de faire monter la courbe (de gain) encore plus. Je m'en occuperais quand j'aurai le temps (la c'est recherche de partenaire et client)

Non, je ne peux pas. En revanche, ça dépend toujours de la quantité de communication et de synchronisation.

**Mat.M** · 19/03/2009, 20h22

Le MSDN semble donner raison à Mathieu

Multiple Processors
The system uses a symmetric multiprocessing (SMP) model to schedule threads on multiple processors. With this model, any thread can be assigned to any processor. Therefore, scheduling threads on a computer with multiple processors is similar to scheduling threads on a computer with a single processor. However, the scheduler has a pool of processors, so that it can schedule threads to run concurrently. Scheduling is still determined by thread priority. However, on a multiprocessor computer, you can also affect scheduling by setting thread affinity and thread ideal processor, as discussed here.

Thread Affinity

Thread affinity forces a thread to run on a specific subset of processors. Use the SetProcessAffinityMask function to specify thread affinity for all threads of the process. To set the thread affinity for a single thread, use the SetThreadAffinityMask function. The thread affinity must be a subset of the process affinity. You can obtain the current process affinity by calling the GetProcessAffinityMask function.

Setting thread affinity should generally be avoided, because it can interfere with the scheduler's ability to schedule threads effectively across processors. This can decrease the performance gains produced by parallel processing. An appropriate use of thread affinity is testing each processor.

Thread Ideal Processor

When you specify a thread ideal processor, the scheduler runs the thread on the specified processor when possible. Use the SetThreadIdealProcessor function to specify a preferred processor for a thread. This does not guarantee that the ideal processor will be chosen, but provides a useful hint to the scheduler.

Sinon Fraggy ( je sais je suis ch..) mais qu'est ce que m'apporte AccLib pour mon jeu si je fais moi même la programmation parallèle des fonctionnalités de mon jeu si j'utilise moi même implicitement et intrinséquement SetThreadIdealProcessor et tutti-quanti de la win32?
Si ce n'est la portabilité multiplateforme ?

Pour faire court j'ai des fonctions IA character::findpath(),character::Attack()
Ensuite je fais cela grossièrement

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
HANDLE handle1=_beginthread(character::findpath());
HANDLE handle2=_beginthread(character::Attack());
//.....
SetThreadAffinityMask (handle1,0):

Que peux-tu m'apporter de plus ?

**Matthieu Brucher** · 19/03/2009, 20h38

En même temps, si tu as 4 threads et 4 processeurs, tu peux mettre l'affinité.

**Mat.M** · 19/03/2009, 20h41

Envoyé par Matthieu Brucher

Je ne sais pas si c'est même faisable sous Windows.

Avec Windows7 et VS2010 peut-être

http://channel9.msdn.com/pdc2008/TL25/ ( merci Yannick84)

Envoyé par Matthieu Brucher

En même temps, si tu as 4 threads et 4 processeurs, tu peux mettre l'affinité.

Ok

**Fraggy** · 19/03/2009, 21h52

Envoyé par Mat.M

Sinon Fraggy ( je sais je suis ch..) mais qu'est ce que m'apporte AccLib pour mon jeu si je fais moi même la programmation parallèle des fonctionnalités de mon jeu si j'utilise moi même implicitement et intrinséquement SetThreadIdealProcessor et tutti-quanti de la win32?
Si ce n'est la portabilité multiplateforme ?

Pour faire court j'ai des fonctions IA character::findpath(),character::Attack()
Ensuite je fais cela grossièrement

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
HANDLE handle1=_beginthread(character::findpath());
HANDLE handle2=_beginthread(character::Attack());
//.....
SetThreadAffinityMask (handle1,0):

Que peux-tu m'apporter de plus ?

réponse rapide, ça va pas être facile de paralléliser tous ça. Tu n'auras pas de super gain de performance et si tu insistes à foutre du code parallèle partout tu va te retrouver avec une usine à gaz.
Il faut essayer pour comprendre

En gros tu va te retrouvé à être limité grand max à 2x et 3x, quelque soit le nb de core. Si tu veux savoir pourquoi relis les posts sur les pb de tailles de job (http://www.developpez.net/forums/d60...x/#post4094777)

**Mat.M** · 19/03/2009, 22h05

Envoyé par Fraggy

réponse rapide, ça va pas être facile de paralléliser tous ça. Tu n'auras pas de super gain de performance et si tu insistes à foutre du code parallèle partout tu va te retrouver avec une usine à gaz.
Il faut essayer pour comprendre

En gros tu va te retrouvé à être limité grand max à 2x et 3x, quelque soit le nb de core.

Je suis d'accord mais par quel formule magique avec AccLib j'aurais des gains de performances plus élevés ?

Surtout que les fonctions dont je parle ce sont celles de l'OS donc celles qui collent le plus au système.
A part programmer directement le CPU c'est à dire bas-niveau à la source en assembleur je ne vois pas par quel coup de baguette magique on peut avoir des gains plus élevés..