Utilisation de PARFOR

Version imprimable

Bonjour,

J'ai un code matlab qui fait appel à une boucle for pour 150 970 itérations.
Mon ordinateur met plus de 4 jours pour faire tourner le programme.
Je me suis renseignée et j'ai vu qu'il était possible d'utiliser la fonction parfor à la place de for pour faire les calculs en parallèle et donc gagner du temps !
Voici une partie de mon code (A_pp est une matrice de taille 150970 lignes et 7 colonnes) :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
[m,n] = size(A_pp);
 
parfor i=1:m;
    for j= 2:4;
        if A_pp(i,j) == 0;
            Xval = Xval;
            Xcal = Xcal;
            Xfb120 = Xfb120;
            Xpred = Xpred;
        elseif A_pp(i,j) == 1;
            [Xcal, ~, ~] = snv(Xcal); 
            [Xval, ~, ~] = snv(Xval);
            [Xfb120, ~, ~] = snv(Xfb120);
            [Xpred, ~, ~] = snv(Xpred);
        elseif A_pp(i,j) == 2;
            width = A_pp(i,7);
            order = A_pp(i,5);
            deriv = A_pp(i,6);
            [Xcal, ~] = savgol(Xcal,width,order,deriv);
            [Xval, ~] = savgol(Xval,width,order,deriv);
            [Xfb120, ~] = savgol(Xfb120,width,order,deriv);
            [Xpred, ~] = savgol(Xpred,width,order,deriv);
        elseif A_pp(i,j) == 3;
            [Xcal,~,~,~] = mscorr(Xcal);
            [Xval,~,~,~] = mscorr(Xval);
            [Xfb120,~,~,~] = mscorr(Xfb120);
            [Xpred,~,~,~] = mscorr(Xpred);
        end
        if j == 4;
 
            LV = A_pp(i,1);
            modl = pls(Xcal, Ycal, LV, options);
%             pred  = pls(Xval,modl,options);
            valid = pls(Xval,Yval,modl,options);
 
            pred120 = pls(Xfb120,modl,options);
            Ypred120 = pred120.yhat;
            valid120 = pls(Xfb120,Yfb120,modl,options);
 
            erreur(i,1) = valid.rmsec(LV); %rmsec
            erreur(i,2) = valid.rmsep(LV); %rmsev
            erreur(i,3) = valid120.rmsep(LV); %rmsep
            erreur(i,4) = valid.r2c(LV); %r2c
            erreur(i,5) = valid.r2p(LV); %r2v
            erreur(i,6) = valid120.r2p(LV); %r2p
            erreur(i,7) = (max(Yval)-min(Yval))/erreur(i,2); %RER
 
            Xcal = X_ini;
            Xval = X_ini1;
            Xpred = X_ini2;
            Xfb120 = X_ini3;
        end
    end
end

Et il me dit : "Error: The variable erreur in a parfor cannot be classified."
Je ne comprends pas pourquoi ... j'ai regardé la page matlab sur parfor et pour moi j'ai le droit d'utiliser parfor ...

Est-ce que vous pouvez m'aider s'il vous plait ?

Bonne journée !
Aurelia

Bonjour,

En ajoutant une initialisation c'est plus rapide, et en modifiant la gestion de la variable erreur ça répare le problème.
https://de.mathworks.com/matlabcentr...-be-classified
https://fr.mathworks.com/matlabcentr...-be-classified

En bleu mes modifications.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
[m,n] = size(A_pp);

erreur = -ones(m, 8) ; % initialisation

parfor i=1:m;
    for j= 2:4;
        if A_pp(i,j) == 0;
            Xval = Xval;
            Xcal = Xcal;
            Xfb120 = Xfb120;
            Xpred = Xpred;
        elseif A_pp(i,j) == 1;
            [Xcal, ~, ~] = snv(Xcal);
            [Xval, ~, ~] = snv(Xval);
            [Xfb120, ~, ~] = snv(Xfb120);
            [Xpred, ~, ~] = snv(Xpred);
        elseif A_pp(i,j) == 2;
            width = A_pp(i,7);
            order = A_pp(i,5);
            deriv = A_pp(i,6);
            [Xcal, ~] = savgol(Xcal,width,order,deriv);
            [Xval, ~] = savgol(Xval,width,order,deriv);
            [Xfb120, ~] = savgol(Xfb120,width,order,deriv);
            [Xpred, ~] = savgol(Xpred,width,order,deriv);
        elseif A_pp(i,j) == 3;
            [Xcal,~,~,~] = mscorr(Xcal);
            [Xval,~,~,~] = mscorr(Xval);
            [Xfb120,~,~,~] = mscorr(Xfb120);
            [Xpred,~,~,~] = mscorr(Xpred);
        end
        if j == 4;
            
            LV = A_pp(i,1);
            modl = pls(Xcal, Ycal, LV, options);
            % pred = pls(Xval,modl,options);
            valid = pls(Xval,Yval,modl,options);
            
            pred120 = pls(Xfb120,modl,options);
            Ypred120 = pred120.yhat;
            valid120 = pls(Xfb120,Yfb120,modl,options);
            
            erreur_temp = [valid.rmsec(LV),...
            	valid.rmsep(LV),...
            	valid120.rmsep(LV),...
                alid.r2c(LV),...
            	valid.r2p(LV),...
                valid120.r2p(LV),...
                (max(Yval)-min(Yval))/valid.rmsep(LV)]
            erreur(i,:) = erreur_temp ; %RER

            Xcal = X_ini;
            Xval = X_ini1;
            Xpred = X_ini2;
            Xfb120 = X_ini3;
        end
    end
end

21/07/2020, 16h45
AureliaDnr

Bonjour Antoane,

Merci beaucoup pour ta réponse.
J'ai relancé mon code avec tes modifications et ça fonctionne !

Encore merci !
Aurelia
22/07/2020, 08h40
Antoane
Bonjour,

Queleques détails additionnels pour simplifier et clarifier le code :
Code:

1 2 3 4 5 6 7 8 9 if A_pp(i,j) == 0; .... elseif A_pp(i,j) == 1; ... elseif A_pp(i,j) == 2; ... elseif A_pp(i,j) == 3; ... end
Pourra être remplacé par :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 switch A_pp(i,j) case 0 .... case 1 ... case 2 ... case 3 ... otherwise error('Unexpected A_pp(i,j) value') end
De plus,
[Xcal, ~, ~] = snv(Xcal); pourra être simplifié en : Xcal = snv(Xcal);
Les tildes ne sont nécessaires que lorsqu'on veut récupérer un argument de sortie sans récupérer l'un des précédents, par exemple pour : [~, ~, x] = snv(Xcal);

Hello Antoane !

Je rencontre un nouveau problème avec la boucle parfor.
Il me dit :
Error using pls (line 286)
Transparency violation error.
See Parallel Computing Toolbox documentation about Transparency
Error in Citrouille (line 138)
parfor i=1:m;

Si je comprends bien, vu que pls crée des nouvelles variables (pred120 par exemple) il va en créer genre 10 en parallèle et donc 10 variables qui ont le même nom ...

Voici mon code modifié avec tes conseils :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
erreur = zeros(m,7);
parfor i=1:m;
    Xcal = X_ini;
    Xval = X_ini1;
    Xpred = X_ini2;
    Xfb120 = X_ini3;
    for j= 2:4;       
        switch A_pp(i,j)
            case 0;
                Xval = Xval;
                Xcal = Xcal;
                Xfb120 = Xfb120;
                Xpred = Xpred;
            case 1;
                Xcal = snv(Xcal); 
                Xval = snv(Xval);
                Xfb120 = snv(Xfb120);
                Xpred = snv(Xpred);
            case 2;
                width = A_pp(i,7);
                order = A_pp(i,5);
                deriv = A_pp(i,6);
                Xcal = savgol(Xcal,width,order,deriv);
                Xval = savgol(Xval,width,order,deriv);
                Xfb120 = savgol(Xfb120,width,order,deriv);
                Xpred = savgol(Xpred,width,order,deriv);
            case 3;
                Xcal = mscorr(Xcal);
                Xval = mscorr(Xval);
                Xfb120 = mscorr(Xfb120);
                Xpred = mscorr(Xpred);
            otherwise
                error('Unexpected A_pp(i,j) value')
        end
    end
    LV = A_pp(i,1);
    modl = pls(Xcal, Ycal, LV, options);
    valid = pls(Xval,Yval,modl,options);
 
    pred120 = pls(Xfb120,modl,options);
    Ypred120 = pred120.yhat;
    valid120 = pls(Xfb120,Yfb120,modl,options);
 
    erreur_temp = [valid.rmsec(LV),...
    valid.rmsep(LV),...
    valid120.rmsep(LV),...
    valid.r2c(LV),...
    valid.r2p(LV),...
    valid120.r2p(LV),...
    (max(Yval)-min(Yval))/valid.rmsep(LV)]
    erreur(i,:) = erreur_temp ;
end

Est-ce que tu as une idée de ce que je peux faire ? Il faut que je crée de nouvelles variables temporaires ? mais lesquelles ?

Bonne journée,
Aurelia

27/07/2020, 10h12
Antoane

Bonjour,

Sans certitude : tu peux essayer de déclarer les variables avant d'entrer dans la boucle parfor.