Discussion :

[thecrazydonut]

Bonjour,

J'ai un code utilisant un parfor de manière très classique

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
parfor i=1:210
   maFonction(i)
end

L'ordinateur sur lequel j'effectue ces simulations possède 16 coeurs. Lorsque je démarre la simulation, Matlab se connecte logiquement à 16 workers. Cependant, après quelque temps, lorsque je regarde les processus du cpu, le nombre de workers tombe à 10. Il me semble (mais je n'en suis pas certain), que quelques itérations sont effectuées avec les 16 coeurs avant de retomber à 10. Quelles peuvent être les raisons ?

Merci

[thecrazydonut]

Quelques informations supplémentaires: Matlab est toujours connecté à 16 cœurs (parallel pool 16 workers on local...), c'est lorsque je regarde l'activité des processus avec la commande top (système unix) que je m'aperçois que seulement 10 instances sont actives.
Il y a donc des informations contradictoires. Comment vérifier qu'il y a bien 16 instances qui sont exécutées en parallèle ?

Merci !

[thecrazydonut]

Je déterre un de mes vieux sujets car je n'ai toujours pas compris comment Matlab effectue la gestion des tâches avec parfor. Cependant, je pense à présent être capable de reproduire ce comportement. La diminution du nombre de threads semble arriver dans un cas bien particulier, c'est quand certains cœurs finissent leur tâche bien avant les autres. Ils semblerait que ceux ont terminé leur tache de façon prématurée sommeillent... comme s'ils attendaient que les autres aient finis eux aussi leur tâche.

Une représentation conceptuelle de mon code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
listeTache=[T1,..,.., T22] % 22 taches à effectuer en parallèle 
parfor iTache=1:numel(listeTache)
   if listeTache(iTache) pas réalisée
      faire listeTache(iTache)
   end
end

Maintenant, imaginons que j'ai 10 cœurs à disposition. Pour quelques raisons extérieures à ce problème, je n'ai pu en réalisé que 8. Donc T1 à T8 sont déjà accomplies. Maintenant je relance le programme. Il passe naturellement a T9 et T10... mais ne lance pas de T11 à T18... Alors que les cœurs sont bien disponibles !
Pour que Matlab utilise à nouveau à plein potentiel les cœurs, j'ai besoin de modifier le code et de lui faire oublier les taches T1 à T8, soit

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

listeTache=[T9,..,.., T22]

C'est assez pénible car même si Matlab repassera (peut être) sur 10 coeurs pour les tache 11 à 20, il restera les 21 et 22 à faire tourner. Bref, il faudra 3 batchs pour effectuer les tâches T9 a T22 alors que 2 auraient suffi !

Merci à ceux qui pourront m'éclairer !

[thecrazydonut]

Ok mystère résolu ! Parfor est conçu pour des tâches dont la durée est approximativement la même.
Un petit exemple qui prouve ceci. Je créer un vecteur de 160 tâches, mais seulement 16 d'entre elles doivent être complétées. La tâches consiste à attendre 5 sec. Donc, si tout se passe pour le mieux, mes 16 cœurs vont effectuer simultanément ces tâches et le code devrait être exécute en un peu plus de 5 sec. On voit très bien dans cet exemple que 3 batchs sont nécessaires pour accomplir les 16 tâches.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
% Seed
rng(1)
 
% Create a list of tasks (if 1 compute taks, 0 don't)
listTasks=zeros(1,16*10);
idTask=floor(rand(1,16)*numel(listTasks))+1;
listTasks(idTask)=1;
 
% Perform and time tasks
tic
parfor iTask=1:numel(listTasks)
    if listTasks(iTask)==1
        pause(5)
    end
end
t=toc;
disp(evalc('feature(''numcores'')'));
fprintf('%i tasks performed in %0.3f s\n',sum(listTasks), t)
 
>>
MATLAB detected: 16 physical cores.
MATLAB detected: 32 logical cores.
MATLAB was assigned: 32 logical cores by the OS.
MATLAB is using: 16 logical cores.
MATLAB is not using all logical cores because hyper-threading is enabled.
 
ans =
 
    16
 
 
16 tasks performed in 15.119 s

Une réponse m'est parvenue sur le site de mathworks. Pour ce genre de cas, il est préférable d'utiliser la fonction parfeval https://www.mathworks.com/matlabcent...#answer_305481