Discussion :

[Dombrai]

Bonjour à tous,

je me pose une grande question : est il possible de sélectionner le processeur sur lequel va s'exécuter une MEX?
Voici mon problème : je dispose de deux matrices rectangulaires 100*200 contenant les coordonnées x,y d'un ensemble de point. chacun de ces points passe ensuite par un simulateur de trajectoire qui me calcule tout pleins de paramètres, que je stocke dans une matrice de resultats de la forme 100*200*Nparametres.

Chaque trajectoire étant indépendante, ce problème peut être parallélisable. Néanmoins, je ne dispose pas de la Parallel Computing Toolbox et le temps que ma boite se la procure, je serai parti vers d'autres cieux plus cléments. Mon boss souhaite savoir si quand on appelle une MEX, on peut lui spécifier le proc sur lequel s'executer... même si ça ne fera au final pas une grande différence en terme de temps de calcul.

En farfouillant un peu sur le forum j'ai trouvé un autre sujet qui parlait de ça, avec un petit test de la forme :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
n = 5000;
A = rand(n);
B = rand(n);
clc
 
for n = 1:4
 
    clear C
 
    maxNumCompThreads(n);
 
    tic
    C = A*B;
    toc
 
end

Possédant Matlab R2012b, il me renvoie un warning

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
Warning: maxNumCompThreads will be removed in a future release. Please remove any instances of
this function from your code. 
> In maxNumCompThreads at 27
  In thread at 10

et les resultats sont exactement les mêmes quelque soit la valeur de maxNumCompThreads.

Mon ordi a a priori 4 coeurs

[Jerome Briot]

Je vais essayé de rester simple et clair. Et accessoirement de ne pas dire trop de bêtise

Il y a deux types de parallélisation sous MATLAB : explicite et implicite.

La parallélisation explicite nécessite, soit la Parallel Computing Toolbox, soit une bibliothèque externe (OpenMP, pthread, pMATLAB, MPI...). Avec ce genre d'outil, on peut choisir le nombre de cœurs sur lesquels on fait les calculs. Par contre, on ne peut pas choisir un cœur en particulier, c'est le rôle du système d'exploitation.

Dans ton cas, tu utilises la parallélisation implicite. C'est à dire, que tu laisses MATLAB "décider" des instructions qu'il exécute en parallèle (ou non). Tu n'as aucun contrôle. La fonction maxNumCompThread est obsolète. En fait le soucis est que, comme MATLAB fait appel à de nombreux codes et bibliothèques externes, il est impossible d'assurer qu'un code tournera sur un nombre donné de cœurs/processus. On laisse donc MATLAB se débrouiller tout seul comme un grand. Par défaut MATLAB a à disposition tous les cœurs disponibles. Mais cela ne veut pas dire qu'ils seront tous constamment utilisés pendant l'exécution du code.

La question est alors : comment savoir si mon code tire profit de la parallélisation implicite puisque tout est masqué ? Il suffit de lancer MATLAB en demandant explicitement de n’utiliser qu'un seul cœur avec l’option -singleCompThread et de comparer les temps d'exécution.

[Dombrai]

Merci de ta réponse,
alors j'ai lancé matlab en -singleCompThread et j'ai obtenu le résultât suivant

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
Elapsed time is 31.753615 seconds.

et en "normal" :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
Elapsed time is 31.666283 seconds.

bref, rien de significatif. de plus quand je regarde l'historique de l'utilisation des procs dans le gestionnaire des taches (les jolies courbes qui défilent), je vois bien qu'il y en a 1 a 100% pendant que les autres sirotent tranquillement un Mojito... L'UC utilisée reste en permanence à 25%
donc si j'ai bien compris je n'ai pas vraiment d'autres ressources?

[Jerome Briot]

Si tu es à l'aise avec le C (ou le Fortran) et l'utilisation des fichiers MEX, je peux te conseiller de jeter un œil à OpenMP. Il faudra juste vérifier que le compilateur utilisé supporte OpenMP.

Il y a aussi pMATLAB mais je ne connais pas (encore)

[Dombrai]

Ok, j'ai fait pas mal de Fortran et la j'ai du faire deux MEX en C. mon compilo est SDK 7.1 avec le netframework 4.0, a priori ça passe pas pour OpenMP... de plus il faudrait que je modifie la MEX, ce qui ne m'enchante guère car il faudrait que je revalide mon prog. Je vais me pencher sur pMatlab qui m'a l'air plus proche de ce que je cherche à faire

[Jerome Briot]

Je vais me pencher sur pMatlab qui m'a l'air plus proche de ce que je cherche à faire

N'hésite pas à nous faire un retour

[Dombrai]

Alors, j'ai téléchargé pMatlab, fait toutes les initialisations nécessaire et lancé un exemple fourni avec les sources.

Ici, j'ai testé le calcul et l'affichage d'un ensemble de Mandelbrot sur 2 processeurs. J'ai reçu le message d'erreur suivant

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
>> eval(pRUN('pMandelbrot',2,{}))
Submitting pMandelbrot on 2 processor(s).
No pid files found
Nothing to delete.
Launching MPI rank: 1 on: EXT-1LL0
Launching MPI rank: 0 on: EXT-1LL0

unix_launch =

start /b MatMPI\Dos_Commands.EXT-1LL0.0.bat


 
C:\Users\ft077327\Desktop\Maquette_fenetree_v2\pMatlab\Examples\Mandelbrot>start /b MatMPI\Dos_Commands.EXT-1LL0.0.bat  
License checkout failed.
License Manager Error -39
User/host not on INCLUDE list for Distrib_Computing_Toolbox. 
Contact your License Administrator to review the Options File.

Troubleshoot this issue by visiting: 
http://www.mathworks.com/support/lme/R2012b/39

Diagnostic Information:
Feature: Distrib_Computing_Toolbox 
License path: C:\Users\ft077327\AppData\Roaming\MathWorks\MATLAB\R2012b_licenses;C:\MATLAB\R2012b\licenses\license.dat;C:\MATLAB\R2012b\licenses\network.lic 
Licensing error: -39,147.
Error using distcompserialize
Unable to checkout a license for the Parallel Computing Toolbox.

Error in findResource (line 167)
distcompserialize([]);

Error in pRUN (line 55)
      sched = findResource('scheduler','type','local');

Autrment dit, pMatlab m'a tout l'air d'être une surcouche de la Parallel Computing toolbox, et ne fonctionnera pas sans celle-ci...

[gpcbitnik38]

essaye de regarder ce code ci

principalement les fichier bspline_transform_***.c et le header multiple_os_thread.h

c'est assez bien fait et pas trop compliquer a comprendre comment créer et lancer les threads

après pour choisir le pross je ne sais pas ^^

[Dombrai]

salut,
alors j'ai regardé ce que tu as linké, mais j'ai trouvé une solution plus simple : j'ai échangé mon poste de travail avec celui d'un collegue qui avait la parallele computing toobox et ne s'en servait pas .
Ceci dit, vu que j'ai des problemes de compilation avec la parallel computing toolbox (le deploytool est en galère) je me penche sur ce que tu as envoyé. J'essaie d'adapter ma MEX, qui est déja bien galère, mais j'ai des soucis de compilation de la mex que je n'avais pas avant.