Benchmarks multi-thread et SSE3

Bonjour

Ca serait sympa si certains d'entre vous pouvaient exécuter ces benchmarks sur les machines multi-cores ou multi-processeurs sous Windows, afin de vérifier si les optimisations marchent bien.
Chaque Bench ne prend que quelques minutes d'exécution. Evitez tout programme parasite dont l'exécution en parallèle fausserait les mesures de temps d'exécution (antivirus...).
Il suffit de me poster le fichier texte résultant, qui contient les tableaux de mega-flops.

C'est l'occasion de comparer les perfs de divers processeurs. Je vous afficherai les courbes comparatives...

Voici 2 benchmarks pour la FFT:
-mono-processus:
http://www.ient.rwth-aachen.de/team/...FT_64_SSE3.zip
-multi-processus:
http://www.ient.rwth-aachen.de/team/...64_SSE3_MT.zip

Je vous ferai faire également des benchs de multiplications matricielles.
Merci par avance.

On m'a fait remarqué par message privé, qu'il était impossible de demander à des inconnus de lancer des exécutables.

Le problème, c'est qu'il est assez délicat de compiler les benchmarks:
- les exécutables à télécharger sont compilés avec le compilateur d'Intel, plus performant que VC ou GCC. Il faudrait donc télécharger sur mon site la bibliothèque compilée, faire un projet...
- J'utilise des librairies en guise de référence, FFTW pour la transformée de Fourier, ATLAS pour l'algèbre linéaire. Il faut donc également installer correctement ces bibliothèques.

J'ai donc jugé qu'il était beaucoup plus raisonnable de livrer des exécutables sur un plateau.
Mais je comprends la remarque, et vous assure que ces exécutables sont sans virus aucun. En guise de ma bonne foi, j'avais déjà ouvert 2 discussions similaires y'a qqs mois ( http://www.developpez.net/forums/sho...ight=benchmark et http://www.developpez.net/forums/sho...ight=benchmark )

Pour ceux qui voudrait tenter de compiler les benchs eux même, je les assisterai:
-voici un lien où télécharger ma bibliothèque avec des libs pré-compilées pour Windows:
http://www.ient.rwth-aachen.de/team/...al/genial.html
-Et ci-joint le code du bench pour la FFT

Salut Charlemagne :-)

voici les resultats, mais je ne les trouve pas coherents...
peut-etre que je me trompe

ma config est:
Intel Core 2 Duo CPU
T7700 2.40GHz
2 GB RAM

a+

[EDIT] je vais faire les benchmarks sur le dual processeurs tres prochainement

Je confirme qu'on peut faire confiance a Charlemagne :-)

Salut!
J'espère donner une modeste contribution! ;)

Ma config:
Core 2 Duo E6750 : 2.66 Mhz
2 Go RAM

Merci à vous deux.
Epsilon68, pas la peine de lancer les benchs sur ton 2xXeon, ça n'apportera pas grand chose. Si quelqu'un avait l'un de ces récents processeurs avec 4 coeurs, ça serait cool...

Vos courbes sont très similaires (vos processeurs Core 2 Duo aussi...).
remarques sur les résultats:
-Dans l'ensemble mon implémentation de la FFT a perdu pas mal de terrain comparé à FFTW sur des benchs exécutés sur des Pentium4.
-Quelques courbes auraient du être identiques entre les 2 fichiers (à la précision des mesures près), ce qui n'est pas le cas. incompréhensible...

Si vous voulez bien voici 2 nouveaux benchmarks, avec une autre série de dimensions pour les grandes matrices, qui permettront de mieux voir la différence entre mono- et multi-processus. (Le multi-threading ne s'enclenche que pour les matrices plus grandes que 64x64)
Ca sera probablement les derniers benchs FFT:
-Mono-processus:
http://www.ient.rwth-aachen.de/team/...FT_64_SSE3.zip
-Multi-processus:
http://www.ient.rwth-aachen.de/team/...64_SSE3_MT.zip

Je vais vous afficher les courbes.
Après ça, si vous le voulez bien, j'aurai des benchs pour la multiplication matricielle.

Ces 4 graphes comparent les perfs de mon implémentation avec FFTW sur le processeur de Poukill (un peu plus rapide que celui d'Epsilon68).

Seule mon implémentation utilise le multi-threading mais uniquement pour les matrices à partir de 64x128. De toute façon, FFTW ne sait visiblement pas tirer vraiment profit du multi-threading d'après les benchs d'Intel. (http://www.intel.com/cd/software/pro...eng/266852.htm)

4 Graphes:
- 1D/2D
- valeurs complexes/réelles.

Sur chaque graphe, 6 courbes:
- genial / fftw (estimate flag) / fftw(measure flag)
- précision floats/doubles

http://img395.imageshack.us/img395/4884/image001nu4.gif
http://img142.imageshack.us/img142/9991/image002vv8.gif
http://img141.imageshack.us/img141/6658/image001jl0.gif
http://img141.imageshack.us/img141/2242/image002vw8.gif

Et voilà ! :)

Hope it helps ! ;)

Merci, j'ai mis à jour les 2 derniers graphes.
Ils correspondent aux mêmes séries de mesure que les benchs d'Intel sur http://www.intel.com/cd/software/pro...eng/266852.htm .
Je les soupçonne d'avoir choisi des tailles de matrices qui les arrangent (et qui m'arrangent aussi) par rapport à FFTW...
Certes mes graphes ne font pas de multi-threading pour FFTW, mais FFTW ne sait pas le gérer efficacement.

Ca vaut le coup que je re-execute les benchmarks?

Citation:

---

Envoyé par epsilon68

Ca vaut le coup que je re-execute les benchmarks?

---

Non ce n'est plus la peine pour la FFT.

Par contre, vous pouvez tous y aller pour ces 2 benchs de produits matriciels.
- Mono-processus:
http://www.ient.rwth-aachen.de/team/...SSE3_48_15.zip
-Multi-processus:
http://www.ient.rwth-aachen.de/team/...3_MT_48_15.zip

Merci

arrrgggg !!!

je venais de le faire sur le dual intel Xeon CPU 3.4 GHz 2GB RAM
(donc je les poste tant qu'a faire...)

EDIT: soit je comprends rien, soit tu ne prends pas en compte le deuxieme processeur...

j'ai executé les benchs des produits matriciels mais c'est pareil, le deuxieme processeur semble etre ignoré ...

OK.
Voilà les benchs matriciels sur mon core 2 duo.

A bientôt ! ;)

et les benchs matriciels sur mon core 2 duo

Voici moi aussi des résultats, sur un Core 2 Quad 2.4Ghz

Pièce jointe 28312

Petite précision : Pendant les tests, les processeurs étaient au mieux utilisés à 75%.

Merci à tous.
Super! un Core 2 Quad!!!

Y'a de bonnes et une mauvaise surprise.

1) La mauvaise:
Avec 4 processus sur le Core2Quad, ma FFT est plus lente qu'avec 2 processus sur le Core2Duo... Incompréhensible...
Visiblement le phénomène est un peu similaire sur ce bench d'Intel (celui en 2D avec les processeurs Xeon http://www.intel.com/cd/software/pro...eng/266858.htm ). Mais Intel sait mieux gérer le phénomène à partir de grosse tailles).

Je ne comprends pas. Vous savez que la FFT d'une matrice consiste à calculer les FFTs de chaque lignes puis de chaque colonnes.
Mon algo se contente de dispatcher les lignes entre différents threads, puis les colonnes.
Si vous avez des idées ou hypothèses pour expliquer le phénomène, je suis preneur...

Loïc, si tu es d'accord, je te proposerai certainement quelques autres benchs rapides dans les jours à venir, pour tenter de l'isoler et de l'expliquer.

Citation:

---

Envoyé par JolyLoic

Petite précision : Pendant les tests, les processeurs étaient au mieux utilisés à 75%.

---

Dans le gestionnaire de tâches? ou bien le taux réel d'utilisation du processeur (que peuvent donner certains programmes spécialisés)?
-Si c'est le gestionnaire de tâche, je ne comprends pas. Il devrait mettre 100%, non?
-Si c'est le taux réel d'utilisation, je ne me rappelle plus des ordres de grandeurs que j'obtenais y'a quelques temps (il faudrait éventuellement que je re-mesure) mais 75% me paraît très très correct.

2) Les bonnes surprises
Le multi-threading fonctionne pas trop mal sur mon algo de multiplication matricielle, que ce soit sur un core2Duo que sur le Quad.
Les allures des courbes sont très similaire d'un processeur à l'autre (à part leur amplitude).
Il y a quelques couacs:
- baisse de perfs pour des matrices de taille 256, que je ne m'explique pas encore.
- perf moins bonne sur le Quad que sur le Duo pour les matrices de taille 100: probablement une question de réglage. Ce n'est pas évident de faire du tunning sans avoir le processeur sous la main, mais je vais voir quand même ce que je paux faire.

Le processeur de Poukill est environ 15% plus rapide que celui d'Epsilon68.
En mono processus, les amplitudes des courbes du Core2Duo d'Epsilon68, sont quasi identiques avec celles du Core2Quad de Loïc. Je vous propose donc de superposer leurs courbes dans des graphes. (Poukill saura qu'il est environ 15% plus rapide en mono et bi-processus)

Maintenant, il serait intéressant de comparer avec la bibliothèque ATLAS.
Le problème c'est qu'il faut que vous la compiliez vous même, sur vos ordis respectifs, car ATLAS s'optimise en fonction du processeur présent (ATLAS=Automatically Tunned...)

Ca serait sympa que l'un ou l'autre parmi vous tente l'expérience (en particullier sur le Quad :roll: )
Je passerai alors les sources de mon bench et je vous aiderai pour la compilation.
ATLAS (http://math-atlas.sourceforge.net/) ne se laisse compiler qu'avec GCC. Sous Windows il faut donc installer Cygwin (http://www.cygwin.com/), mais l'OS m'importe peu.

Avec des matrices de floats:
http://img340.imageshack.us/img340/4121/image001zh1.gif
Avec des matrices de doubles:
http://img148.imageshack.us/img148/6351/image002pm8.gif

Citation:

---

Envoyé par Charlemagne

Si vous avez des idées ou hypothèses pour expliquer le phénomène, je suis preneur...

---

Aucune idée, est comme j'ai la machine depuis 3j, et que j'ai plus fait de développement mathématique depuis un bout de temps, ça risque pas de venir...

Citation:

---

Envoyé par Charlemagne

Loïc, si tu es d'accord, je te proposerai certainement quelques autres benchs rapides dans les jours à venir, pour tenter de l'isoler et de l'expliquer.

---

Pas de pb, tant que ça reste simple à lancer...

Citation:

---

Envoyé par Charlemagne

Dans le gestionnaire de tâches? ou bien le taux réel d'utilisation du processeur (que peuvent donner certains programmes spécialisés)?
-Si c'est le gestionnaire de tâche, je ne comprends pas. Il devrait mettre 100%, non?

---

Gestionnaire de tâches ou process explorer. Sous Vista.

Citation:

---

Envoyé par Charlemagne

Maintenant, il serait intéressant de comparer avec la bibliothèque ATLAS.
Le problème c'est qu'il faut que vous la compiliez vous même, sur vos ordis respectifs, car ATLAS s'optimise en fonction du processeur présent (ATLAS=Automatically Tunned...)

Ca serait sympa que l'un ou l'autre parmi vous tente l'expérience (en particullier sur le Quad :roll: )

---

Ah là là, on lui donne ça... et il le prend...

Citation:

---

Envoyé par Charlemagne

Je passerai alors les sources de mon bench et je vous aiderai pour la compilation.
ATLAS (http://math-atlas.sourceforge.net/) ne se laisse compiler qu'avec GCC. Sous Windows il faut donc installer Cygwin (http://www.cygwin.com/), mais l'OS m'importe peu.

---

Ca marche aussi avec MinGw ? Il m'avait semblé plus simple à maîtriser que cygwin...

Citation:

---

Envoyé par JolyLoic

Ca marche aussi avec MinGw ? Il m'avait semblé plus simple à maîtriser que cygwin...

---

Merci mille fois!
Je ne connais pas bien MinGW. Ca doit être possible d'une manière ou d'une autre avec MinGW.
Je crois que le gros avantage de Cygwin, c'est son Shell et tous les programmes annexes (make,...) . A prori c'est 100x plus pratique avec Cygwin. C'est sous cygwin que j'avais compilé ATLAS 3.6 sans aucun problème.

Je suis en train d'installer la dernière version d'ATLAS (3.8.1) avec Cygwin: c'est simplissime. La version 3.8 est visiblement sortie depuis peu.
(J'avais y'a plusieurs mois tenté d'installer une version 3.7.X, et ça ne marchait pas du tout. Ce n'est sans doute pas un hasard si les version 3.7.X ne sont plus proposées au téléchargement...)

Il faut bien suivre les instructions du fichier d'installation.
Voici en bref, les commandes du shell:
> cd ATLAS
> mkdir mon_architecture
> cd mon_architecture
> ../configure --nof77
> make
> s'armer de patience... aller regarder la télé...

Je n'ai eu aucun problème. J'imagine qu'il faut quand même bien faire attention à installer certains modules. Pas la peine de faire une installation complète. L'installation par défaut avec les modules suivants devrait suffire
-GCC (ça coule de source...)
-make
-libtool (?)
-automake (?)

ATLAS reconnait normalement automatiquement la configuration de l'ordi.
J'espère qu'il reconnait les récents processeurs du genre Core2Quad

Citation:

---

Envoyé par Charlemagne

ATLAS reconnait normalement automatiquement la configuration de l'ordi.
J'espère qu'il reconnait les récents processeurs du genre Core2Quad

---

Pas certain. Lors du configure, j'ai eu un message :

Citation:

---

Envoyé par ATLAS

Architecture configured as Core2Duo (15)

---

Ce n'était que le début des ennuis... J'ai eu à la suivi un message (toujours dans le configure) :

Code:

---

Unable to find usable compiler for ICC; abortingMake sure compilers are in your path

---

Je précise :

Code:

---

1 2 3 4 5

$ g++ --version g++ (GCC) 3.4.4 (cygming special, gdc 0.12, using dmd 0.125) Copyright (C) 2004 Free Software Foundation, Inc. This is free software; see the source for copying conditions. There is NO warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

---

J'ai quand même tenté le make

Code:

---

1 2 3 4 5 6 7

$ make make -f Make.top build make[1]: Entering directory `/cygdrive/d/temp/ATLAS/mon_architecture' make[1]: Make.top: No such file or directory make[1]: *** No rule to make target `Make.top'. Stop. make[1]: Leaving directory `/cygdrive/d/temp/ATLAS/mon_architecture' make: *** [build] Error 2

---

Désolé. C'est pas fortiche de la part d'ATLAS...

Essaye la version 3.6.0:
- C'est moins automatique: il suffit de répondre à quelques questions. Arrange toi pour lui dire d'utiliser 4 threads, SSE3 (ou du moins SSE2, je ne crois pas que les instructions SSE3 soient vraiment utilisées)
- Mes bench donnent la version 3.6.0 nettement plus rapide que la 3.8.1 sur mon Pentium4.
-tu peux peut-être compiler ATLAS en version mon--thread puis une autre en version 4 threads pour comparer

Voici les quelques commandes à rentrer dans le shell de cygwin pour la version 3.6.0

Code:

---

1 2 3 4

Placer atlas dans un répretoire dont le chemin est sans espaces > make xconfig > ./xconfig.exe > make install arch=Nom_de_ton_Architecture

---

Je te filerai les source du bench.

PS: d'ici 2-3 jours je te filerai qqs benchs rapides de FFT pour tenter de voir ce qui ne tourne pas rond avec 4 threads.

Salut Charlemagne,

je voulais savoir si tu pensais utiliser TBB pour savoir si TBB est bien par rapport a ton implementation et/ou OpenMP ^^?

a+

Citation:

---

Envoyé par epsilon68

je voulais savoir si tu pensais utiliser TBB pour savoir si TBB est bien par rapport a ton implementation et/ou OpenMP ^^?

---

J'y avais pas vraiment pensé.
Mais y'a plusieurs éléments qui me donnent pas vraiment envie d'essayer.
- Je ne pense pas que les mauvais résultats des benchs de FFT sur un Core2Quad soient dus à une hypothétique mauvaise performance de mon implémentation du multi-threading puisque ça marche bien avec les multiplications matricielles.
- même si je me suis inspiré de TBB, ma syntaxe est quand même sérieusement différente et il faudrait que je programme des wrappers à TBB.
- J'essaye d'éviter autant que possible les dépenses de ma bibliothèque à d'autres librairies. C'est une des raison pour laquelle j'ai reprogrammé les fonctions de TBB qui m'intéressaient.


J'y ai réfléchis, mais je n'ai toujours pas vraiment d'explication pour les mauvais benchs à 4 threads sur le Quad.
Je ne connais pas la structure des Code2Duo ni des Core2Quad, mais je sais que le cache L2 est commun pour les divers noyaux. Et donc je présume que le problème vient de là: la vitesse des échanges avec ce cache pour les 4 noyaux serait le goulot d'étranglement.
Le problème ne se manifeste pas pour la multiplication matricielle si, comme je le suppose, chaque noyau possède un cache L1 propre. En effet la FFT ne peut pas vraiment optimiser le cache L1 à cause des accès non consécutifs en mémoire.

@Loïc: Je n'ai pas eu le courage le week-end dernier de faire des benchs particuliers pour ton Quad. Ca va venir...

Juste comme ça un truc tout bete auquel on ne pense pas forcément....
Tu ne switcherai pas régulièrement entre simple et double précision ?
Ou une conversion float->int ?
Le genre de truc qui "stall" le CPU histoire de reseter les flags....

Citation:

---

Envoyé par nicroman

Juste comme ça un truc tout bete auquel on ne pense pas forcément....
Tu ne switcherai pas régulièrement entre simple et double précision ?
Ou une conversion float->int ?
Le genre de truc qui "stall" le CPU histoire de reseter les flags....

---

Non, non, je fais rien de tout ça.
Mais tu as raison: les conversions sont à proscrire car elles sont horriblement lentes. On s'en rend très vite compte quand on programme avec les instructions SIMD.

je pense me mettre tout doucement a TBB
il n'y a finalement pas d'alternative a cette lib, meme OpenMP me parait beaucoup trop dependant des compilateurs et trop C :-(

Avec un peu de retard, désolé, voici des benchs spécialement prévus pour tester le Core 2 Quad.

http://www.ient.rwth-aachen.de/team/...ads/benchs.zip

Il y a en fait 9 benchs différents, dont plusieurs vont me servir de référence.
Un fichier "BAT" évite d'avoir à les exécuter tous les 9 manuellement?
Ils sont très rapides à exécuter. (J'ai désactivé la comparaison avec FFTW).
Il faut me rendre les 9 fichiers textes résultant (par exemple dans un zip)

Merci d'avance.

J'espère que ça va me permettre d'expliquer en partie pourquoi 4 threads ne sont pas plus rapide que 2.
En fonction des résultats de ce bench, je pense vous faire au moins une autre série de benchs.
Le problème est certainement a rechercher dans la saturation du cache L2, dû aux appels aléatoires. Et donc a priori, y'a pas grand chose a faire a cause de la nature de la FFT, j'ai une petite idée quand-même à voir...

Voilà mes résultats de bench

Pièce jointe 30286

Merci Loïc

C'est ce que je craignais. Les FFTs sur les colonnes sont plus lentes que sur les lignes. Y'a toute les chances que la raison vienne du trafic de données trop élevé avec le cache L2.
Je ne vois pas comment améliorer ça. C'est dû à la nature de la FFT qui nécessite des accès aléatoires. Le phénomène est accru sur les colonnes.
Le phénomène n'apparait pas dans mes benchs de produits matriciels, car dans ce cas y'a moyen d'optimiser le cache L1.

C'est dommage, mais ça montre les limites de processeurs avec de plus en plus de cœurs. Il va falloir qu'Intel améliore les performances de la mémoire cache, sinon ça n'a pas de sens d'accroitre indéfiniment le nombre de cœurs...

Je n'ai plus de benchs à vous faire faire (dans l'immédiat).

Je compte afficher diverses courbes sur mon site d'ici peu.
( http://www.ient.rwth-aachen.de/team/...al/genial.html )
J'écrirai une petite phrase de remerciements avec vos pseudos. Si vous ne voulez pas y être mentionné, ou si vous préférez que j'y inscrive vos vrais noms/prénoms, alors dites le moi.
Merci