[IA] Comment entraîner un réseau de neurones avec algorithme de rétropropagation

Version imprimable

Voir 40 message(s) de cette discussion en une page

20/03/2011, 13h07
frihat mohamed

reseaux de neurones

j'ai fait la création et l'apprentissage de réseaux de neurones avec matlab
la création avec la commande newff l'apprentissage avec la commande train
lors de la simulation de mon réseau avec la commande sim je constate que quel que soit l'entée toujours la sortie égale à 1
j' ai besoin de quelqu'un pour m'aider ( c'est mon projet de fin d'année)
merci d'avance;)
20/03/2011, 13h19
Franck Dernoncourt

Regarde l'exemple de la documentation ('doc newff') :

Citation:

Here is a problem consisting of inputs P and targets T to be solved with a network.
P = [0 1 2 3 4 5 6 7 8 9 10];
T = [0 1 2 3 4 3 2 1 2 3 4];

Here a network is created with one hidden layer of five neurons.
net = newff(P,T,5);

The network is simulated and its output plotted against the targets.
Y = sim(net,P);
plot(P,T,P,Y,'o')

The network is trained for 50 epochs. Again the network's output is plotted.
net.trainParam.epochs = 50;
net = train(net,P,T);
Y = sim(net,P);
plot(P,T,P,Y,'o')

Sinon pour l'aide sur MATLAB tu auras probablement davantage de réponses sur la ML http://www.mathworks.com/matlabcentral/newsreader
20/03/2011, 13h39
frihat mohamed

j'ai fait la création et l'apprentissage de réseaux de neurones avec matlab
la création avec la commande newff l'apprentissage avec la commande train
lors de la simulation de mon réseau avec la commande sim je constate que quel que soit l'entée toujours la sortie égale à 1
j' ai besoin de quelqu'un pour m'aider ( c'est mon projet de fin d'année)
merci d'avance :)
20/03/2011, 13h45
frihat mohamed

merci FRANKY pour ta réponse
mon problème est avec LA COMMANDE SIM la sortie est toujours égalé a 1
20/03/2011, 13h51
Franck Dernoncourt

Envoie ton code ici ou sur http://www.mathworks.com/matlabcentral/newsreader, sans cela on ne peut pas voir d'où vient le problème.
20/03/2011, 14h47
frihat mohamed

sal=[0.6186 0.6369 1.5707 1.6867 3.735 4.5285 6.4212 7.1354 1.8504 2.5375 3.469 4.0254 5.8352 5.9126 0.7981 1.001 1.7117 2.151 3.473 3.618 5.0555 5.0648 1.2813 1.9457 3.0582 3.3534 4.911 5.4038 1.1263 2.2542 5.178 0.6239 2.643 4.779 6.3231 1.2566 3.03 4.281 0.19101 2.5357 3.9086 5.9291 1.1735 3.0542 5.7635 1.253 3.467 5.3929 6.4064 1.683 3.3541 4.876 0.6887 2.6012 4.4208 6.4108];
sall=(sal-mean(sal))/std(sal);

BPT=[60 60 60 60 60 60 60 60 80 80 80 80 80 80 100 100 100 100 100 100 100 100 120 120 120 120 120 120 60 60 60 80 80 80 80 100 100 100 120 120 120 120 60 60 60 80 80 80 80 100 100 100 120 120 120 120 ];
BPTT= (BPT-mean(BPT))/std(BPT);
TE=[ 0.0710 0.0720 0.1780 0.1920 0.4400 0.5420 0.8030 0.9070 0.2410 0.3320 0.4610 0.5420 0.8160 0.8300 0.1180 0.1470 0.2510 0.3180 0.5240 0.5470 0.7890 0.7900 0.2130 0.3240 0.5160 0.5670 0.8560 0.9510 0.128 0.258 0.629 0.081 0.347 0.654 0.894 0.185 0.454 0.657 0.033 0.425 0.670 1.056 0.134 0.356 0.709 0.163 0.461 0.654 0.894 0.248 0.505 0.756 0.116 0.437 0.764 1.154];

TEE=(TE-mean(TE))/std(TE);
p=[sall;BPTT];
pr=minmax(p);
net=newff(pr,[4 1]);
sal1=[0.6186 0.6369 1.5707 1.6867 3.735 4.5285 6.4212 7.1354 1.8504 2.5375 3.469 4.0254 5.8352 5.9126 0.7981 1.001 1.7117 2.151 3.473 3.618 5.0555 5.0648 1.2813 1.9457 3.0582 3.3534 4.9sal1=(sal1-mean(sal))/std(sal);
BPT1=[60 60 60 60 60 60 60 60 80 80 80 80 80 80 100 100 100 100 100 100 100 100 120 120 120 120 120 120]
11 5.4038];
BPT1=(BPT1-mean(BPT))/std(BPT);
TE1=[ 0.0710 0.0720 0.1780 0.1920 0.4400 0.5420 0.8030 0.9070 0.2410 0.3320 0.4610 0.5420 0.8160 0.8300 0.1180 0.1470 0.2510 0.3180 0.5240 0.5470 0.7890 0.7900 0.2130 0.3240 0.5160 0.5670 0.8560 0.9510] ;
TE1=(TE1-mean(TE))/std(TE);
trainv.P=[sal1;BPT1] ;
trainv.T=TE1 ;
sal2=[1.1263 2.2542 5.178 0.6239 2.643 4.779 6.3231 1.2566 3.03 4.281 0.19101 2.5357 3.9086 5.9291];

sal2=(sal2-mean(sal))/std(sal);
20/03/2011, 14h50
frihat mohamed

dzl j'ai pas envoyé tout le programme je t'envoyerai le programme
20/03/2011, 14h53
Franck Dernoncourt

Le code est coupé ici :

Citation:

sal1=[0.6186 0.6369 1.5707 1.6867 3.735 4.5285 6.4212 7.1354 1.8504 2.5375 3.469 4.0254 5.8352 5.9126 0.7981 1.001 1.7117 2.151 3.473 3.618 5.0555 5.0648 1.2813 1.9457 3.0582 3.3534 4.9sal1=(sal1-mean(sal))/std(sal);
BPT1=[60 60 60 60 60 60 60 60 80 80 80 80 80 80 100 100 100 100 100 100 100 100 120 120 120 120 120 120]
11 5.4038];
20/03/2011, 15h14
frihat mohamed

voici mon programme

% les données de reseaux (l'entrée: (sal, BPT ), la sortie:TE
sal=[0.6186 0.6369 1.5707 1.6867 3.735 4.5285 6.4212 7.1354 1.8504 2.5375 3.469 4.0254 5.8352 5.9126 0.7981 1.001 1.7117 2.151 3.473 3.618 5.0555 5.0648 1.2813 1.9457 3.0582 3.3534 4.911 5.4038 1.1263 2.2542 5.178 0.6239 2.643 4.779 6.3231 1.2566 3.03 4.281 0.19101 2.5357 3.9086 5.9291 1.1735 3.0542 5.7635 1.253 3.467 5.3929 6.4064 1.683 3.3541 4.876 0.6887 2.6012 4.4208 6.4108];
sall=(sal-mean(sal))/std(sal);

BPT=[60 60 60 60 60 60 60 60 80 80 80 80 80 80 100 100 100 100 100 100 100 100 120 120 120 120 120 120 60 60 60 80 80 80 80 100 100 100 120 120 120 120 60 60 60 80 80 80 80 100 100 100 120 120 120 120 ];
BPTT= (BPT-mean(BPT))/std(BPT);
TE=[ 0.0710 0.0720 0.1780 0.1920 0.4400 0.5420 0.8030 0.9070 0.2410 0.3320 0.4610 0.5420 0.8160 0.8300 0.1180 0.1470 0.2510 0.3180 0.5240 0.5470 0.7890 0.7900 0.2130 0.3240 0.5160 0.5670 0.8560 0.9510 0.128 0.258 0.629 0.081 0.347 0.654 0.894 0.185 0.454 0.657 0.033 0.425 0.670 1.056 0.134 0.356 0.709 0.163 0.461 0.654 0.894 0.248 0.505 0.756 0.116 0.437 0.764 1.154];

TEE=(TE-mean(TE))/std(TE);
p=[sall;BPTT];
%creation de reseaux
pr=minmax(p);
net=newff(pr,[4 1]);
sal1=[0.6186 0.6369 1.5707 1.6867 3.735 4.5285 6.4212 7.1354 1.8504 2.5375 3.469 4.0254 5.8352 5.9126 0.7981 1.001 1.7117 2.151 3.473 3.618 5.0555 5.0648 1.2813 1.9457 3.0582 3.3534 4.9sal1=(sal1-mean(sal))/std(sal);
%division de donées
BPT1=[60 60 60 60 60 60 60 60 80 80 80 80 80 80 100 100 100 100 100 100 100 100 120 120 120 120 120 120]
11 5.4038];
BPT1=(BPT1-mean(BPT))/std(BPT);
TE1=[ 0.0710 0.0720 0.1780 0.1920 0.4400 0.5420 0.8030 0.9070 0.2410 0.3320 0.4610 0.5420 0.8160 0.8300 0.1180 0.1470 0.2510 0.3180 0.5240 0.5470 0.7890 0.7900 0.2130 0.3240 0.5160 0.5670 0.8560 0.9510] ;
TE1=(TE1-mean(TE))/std(TE);
trainv.P=[sal1;BPT1] ;
trainv.T=TE1 ;
sal2=[1.1263 2.2542 5.178 0.6239 2.643 4.779 6.3231 1.2566 3.03 4.281 0.19101 2.5357 3.9086 5.9291];

sal2=(sal2-mean(sal))/std(sal);

BPT2= [60 60 60 80 80 80 80 100 100 100 120 120 120 120 ] ;

BPT2=(BPT2-mean(BPT))/std(BPT);
TE2= [ 0.128 0.258 0.629 0.081 0.347 0.654 0.894 0.185 0.454 0.657 0.033 0.425 0.670 1.056];
valv.P=[sal2;BPT2] ;
valv.T=TE2;
sal3=[ 1.1735 3.0542 5.7635 1.253 3.467 5.3929 6.4064 1.683 3.3541 4.876 0.6887 2.6012 4.4208 6.4108];
sal3=(sal3-mean(sal))/std(sal);
BPT3= [60 60 60 80 80 80 80 100 100 100 120 120 120 120] ;
BPT3=(BPT3-mean(BPT))/std(BPT);
TE3= [ 0.134 0.356 0.709 0.163 0.461 0.654 0.894 0.248 0.505 0.756 0.116 0.437 0.764 1.154];
TE3=(TE3-mean(TE))/std(TE) ;
testv.P=[sal3;BPT3];
testv.T=TE3 ;
%apprentissage de reseaux
[net,tr]=train( net,trainv.P,trainv.T,[],[],valv,testv)
%SIMULATION DE RESEAU
y=sim(net,[1.1735;60])

le probleme est au niveau de la simulation qq soit les entrées je trouve toujours y=1
20/03/2011, 15h22
Franck Dernoncourt

Le code est coupé ici :

Citation:

sal1=[0.6186 0.6369 1.5707 1.6867 3.735 4.5285 6.4212 7.1354 1.8504 2.5375 3.469 4.0254 5.8352 5.9126 0.7981 1.001 1.7117 2.151 3.473 3.618 5.0555 5.0648 1.2813 1.9457 3.0582 3.3534 4.9sal1=(sal1-mean(sal))/std(sal);
%division de donées
BPT1=[60 60 60 60 60 60 60 60 80 80 80 80 80 80 100 100 100 100 100 100 100 100 120 120 120 120 120 120]
11 5.4038];
BPT1=(BPT1-mean(BPT))/std(BPT);
20/03/2011, 15h25
frihat mohamed

Francry voici mon programme dans le programme précédent j'ai fait une faute (de copier coller) normalement j'ai pas de fautes au niveau des instructions de programme
% les données de reseaux (l'entrée: (sal, BPT ), la sortie:TE
sal=[0.6186 0.6369 1.5707 1.6867 3.735 4.5285 6.4212 7.1354 1.8504 2.5375 3.469 4.0254 5.8352 5.9126 0.7981 1.001 1.7117 2.151 3.473 3.618 5.0555 5.0648 1.2813 1.9457 3.0582 3.3534 4.911 5.4038 1.1263 2.2542 5.178 0.6239 2.643 4.779 6.3231 1.2566 3.03 4.281 0.19101 2.5357 3.9086 5.9291 1.1735 3.0542 5.7635 1.253 3.467 5.3929 6.4064 1.683 3.3541 4.876 0.6887 2.6012 4.4208 6.4108];
sall=(sal-mean(sal))/std(sal);

BPT=[60 60 60 60 60 60 60 60 80 80 80 80 80 80 100 100 100 100 100 100 100 100 120 120 120 120 120 120 60 60 60 80 80 80 80 100 100 100 120 120 120 120 60 60 60 80 80 80 80 100 100 100 120 120 120 120 ];
BPTT= (BPT-mean(BPT))/std(BPT);
TE=[ 0.0710 0.0720 0.1780 0.1920 0.4400 0.5420 0.8030 0.9070 0.2410 0.3320 0.4610 0.5420 0.8160 0.8300 0.1180 0.1470 0.2510 0.3180 0.5240 0.5470 0.7890 0.7900 0.2130 0.3240 0.5160 0.5670 0.8560 0.9510 0.128 0.258 0.629 0.081 0.347 0.654 0.894 0.185 0.454 0.657 0.033 0.425 0.670 1.056 0.134 0.356 0.709 0.163 0.461 0.654 0.894 0.248 0.505 0.756 0.116 0.437 0.764 1.154];

TEE=(TE-mean(TE))/std(TE);
p=[sall;BPTT];
%creation de reseaux
pr=minmax(p);
net=newff(pr,[4 1]);
sal1=[0.6186 0.6369 1.5707 1.6867 3.735 4.5285 6.4212 7.1354 1.8504 2.5375 3.469 4.0254 5.8352 5.9126 0.7981 1.001 1.7117 2.151 3.473 3.618 5.0555 5.0648 1.2813 1.9457 3.0582 3.3534 4.911 5.4038] ;
sal1=(sal1-mean(sal))/std(sal);
%division de donées
BPT1=[60 60 60 60 60 60 60 60 80 80 80 80 80 80 100 100 100 100 100 100 100 100 120 120 120 120 120 120]
11 5.4038];
BPT1=(BPT1-mean(BPT))/std(BPT);
TE1=[ 0.0710 0.0720 0.1780 0.1920 0.4400 0.5420 0.8030 0.9070 0.2410 0.3320 0.4610 0.5420 0.8160 0.8300 0.1180 0.1470 0.2510 0.3180 0.5240 0.5470 0.7890 0.7900 0.2130 0.3240 0.5160 0.5670 0.8560 0.9510] ;
TE1=(TE1-mean(TE))/std(TE);
trainv.P=[sal1;BPT1] ;
trainv.T=TE1 ;
sal2=[1.1263 2.2542 5.178 0.6239 2.643 4.779 6.3231 1.2566 3.03 4.281 0.19101 2.5357 3.9086 5.9291];

sal2=(sal2-mean(sal))/std(sal);

BPT2= [60 60 60 80 80 80 80 100 100 100 120 120 120 120 ] ;

BPT2=(BPT2-mean(BPT))/std(BPT);
TE2= [ 0.128 0.258 0.629 0.081 0.347 0.654 0.894 0.185 0.454 0.657 0.033 0.425 0.670 1.056];
TE2=(TE2-mean(TE))/std(TE) ;
valv.P=[sal2;BPT2] ;
valv.T=TE2;
sal3=[ 1.1735 3.0542 5.7635 1.253 3.467 5.3929 6.4064 1.683 3.3541 4.876 0.6887 2.6012 4.4208 6.4108];
sal3=(sal3-mean(sal))/std(sal);
BPT3= [60 60 60 80 80 80 80 100 100 100 120 120 120 120] ;
BPT3=(BPT3-mean(BPT))/std(BPT);
TE3= [ 0.134 0.356 0.709 0.163 0.461 0.654 0.894 0.248 0.505 0.756 0.116 0.437 0.764 1.154];
TE3=(TE3-mean(TE))/std(TE) ;
testv.P=[sal3;BPT3];
testv.T=TE3 ;
%apprentissage de reseaux
[net,tr]=train( net,trainv.P,trainv.T,[],[],valv,testv)
%SIMULATION DE RESEAU
y=sim(net,[1.1735;60])

le probleme est au niveau de la simulation qq soit les entrées je trouve toujours y=1
MERCI énormément;)
20/03/2011, 15h28
Franck Dernoncourt

Le code est coupé ici :

Citation:

BPT1=[60 60 60 60 60 60 60 60 80 80 80 80 80 80 100 100 100 100 100 100 100 100 120 120 120 120 120 120]
11 5.4038];

En fait je veux d'abord vérifier si tes sorties dans ton ensemble d'apprentissage ne sont pas toujours égales à 1 :-)
20/03/2011, 15h56
frihat mohamed

j'ai pas mis cette faute dans mon programme juste faute de copier coller
BPT1=[60 60 60 60 60 60 60 60 80 80 80 80 80 80 100 100 100 100 100 100 100 100 120 120 120 120 120 120]
11 5.4038]
il faut effacer la ligne (11 5.4038 ] )
lorsque ai tapé mon programme sur matlab j'ai vérifié au fur et au mesure les instructions
normalement le programme marche bien j'ai obtenu déjà les paramétrés de réseaux (les poids et les bias) et la courbes des erreurs en fct de nombres d'itérations
après j'ai voulu vérifier la performance de mon réseau alors je choisi une valeur da sal3 (ensemble de test) et sa valeur correspondante de BPT3 LA COMMANDE SIM ME DONNE TOUJOURS la sortie égale 1 c'est comme si le réseaux n'est pas appris alors que ce n'est pas le cas j'ai obtenue les courbes et les paramètres de réseaux
20/03/2011, 16h09
Franck Dernoncourt
Citation:

mon problème est avec LA COMMANDE SIM la sortie est toujours égalé a 1

Pas toujours, par exemple :
Code:

1 2 3 4 5 >> y=sim(net,[0;2]) y = 0.5785

Essaie :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
 
% les données de reseaux (l'entrée: (sal, BPT ), la sortie:TE
sal=[0.6186 0.6369 1.5707 1.6867 3.735 4.5285 6.4212 7.1354 1.8504 2.5375 3.469 4.0254 5.8352 5.9126 0.7981 1.001 1.7117 2.151 3.473 3.618 5.0555 5.0648 1.2813 1.9457 3.0582 3.3534 4.911 5.4038 1.1263 2.2542 5.178 0.6239 2.643 4.779 6.3231 1.2566 3.03 4.281 0.19101 2.5357 3.9086 5.9291 1.1735 3.0542 5.7635 1.253 3.467 5.3929 6.4064 1.683 3.3541 4.876 0.6887 2.6012 4.4208 6.4108];
sall=(sal-mean(sal))/std(sal);
BPT=[60 60 60 60 60 60 60 60 80 80 80 80 80 80 100 100 100 100 100 100 100 100 120 120 120 120 120 120 60 60 60 80 80 80 80 100 100 100 120 120 120 120 60 60 60 80 80 80 80 100 100 100 120 120 120 120 ];
BPTT= (BPT-mean(BPT))/std(BPT);
TE=[ 0.0710 0.0720 0.1780 0.1920 0.4400 0.5420 0.8030 0.9070 0.2410 0.3320 0.4610 0.5420 0.8160 0.8300 0.1180 0.1470 0.2510 0.3180 0.5240 0.5470 0.7890 0.7900 0.2130 0.3240 0.5160 0.5670 0.8560 0.9510 0.128 0.258 0.629 0.081 0.347 0.654 0.894 0.185 0.454 0.657 0.033 0.425 0.670 1.056 0.134 0.356 0.709 0.163 0.461 0.654 0.894 0.248 0.505 0.756 0.116 0.437 0.764 1.154];
TEE=(TE-mean(TE))/std(TE);
p=[sall;BPTT];
sal1=[0.6186 0.6369 1.5707 1.6867 3.735 4.5285 6.4212 7.1354 1.8504 2.5375 3.469 4.0254 5.8352 5.9126 0.7981 1.001 1.7117 2.151 3.473 3.618 5.0555 5.0648 1.2813 1.9457 3.0582 3.3534 4.911 5.4038] ;
sal1=(sal1-mean(sal))/std(sal);
%division de donées
BPT1=[60 60 60 60 60 60 60 60 80 80 80 80 80 80 100 100 100 100 100 100 100 100 120 120 120 120 120 120];
BPT1=(BPT1-mean(BPT))/std(BPT);
TE1=[ 0.0710 0.0720 0.1780 0.1920 0.4400 0.5420 0.8030 0.9070 0.2410 0.3320 0.4610 0.5420 0.8160 0.8300 0.1180 0.1470 0.2510 0.3180 0.5240 0.5470 0.7890 0.7900 0.2130 0.3240 0.5160 0.5670 0.8560 0.9510] ;
TE1=(TE1-mean(TE))/std(TE);
trainv.P=[sal1;BPT1] ;
trainv.T=TE1 ;
sal2=[1.1263 2.2542 5.178 0.6239 2.643 4.779 6.3231 1.2566 3.03 4.281 0.19101 2.5357 3.9086 5.9291];
sal2=(sal2-mean(sal))/std(sal);
BPT2= [60 60 60 80 80 80 80 100 100 100 120 120 120 120 ] ;
BPT2=(BPT2-mean(BPT))/std(BPT);
TE2= [ 0.128 0.258 0.629 0.081 0.347 0.654 0.894 0.185 0.454 0.657 0.033 0.425 0.670 1.056];
TE2=(TE2-mean(TE))/std(TE) ;
valv.P=[sal2;BPT2] ;
valv.T=TE2;
sal3=[ 1.1735 3.0542 5.7635 1.253 3.467 5.3929 6.4064 1.683 3.3541 4.876 0.6887 2.6012 4.4208 6.4108];
sal3=(sal3-mean(sal))/std(sal);
BPT3= [60 60 60 80 80 80 80 100 100 100 120 120 120 120] ;
BPT3=(BPT3-mean(BPT))/std(BPT);
TE3= [ 0.134 0.356 0.709 0.163 0.461 0.654 0.894 0.248 0.505 0.756 0.116 0.437 0.764 1.154];
TE3=(TE3-mean(TE))/std(TE) ;
testv.P=[sal3;BPT3];
testv.T=TE3 ;
 
%apprentissage de reseaux
pr=minmax(p);
net=newff(trainv.P,trainv.T,[4 1]);
net.trainParam.epochs = 50;
[net,tr]=train( net,trainv.P,trainv.T,[],[],valv,testv)
%SIMULATION DE RESEAU
y=sim(net,[-1.4;-1.3])

20/03/2011, 16h52
frihat mohamed

merci francy
j'ai compris ma faute
lors de la création de réseaux j'ai pas préciser les fonctions d'activations donc par défaut égale a tansig j'ai remplace la fonction d'activation de la couche de sortie par purelin et sa marche bien http:P;)
20/03/2011, 17h11
frihat mohamed

ton programme aussi marche bien sauf dans la commande newff
il faut ecrire newff(pr,[4 1])
au liey de newff(tarinv.P,train.
grâce a votre exemple de simulation j'ai compris que la faute que jai la mis n'est pas au niveau de la fonction d'activations mais au niveau de la simulation avec la commande sim
en effet
au lieu de choisir les entées réduites (...-mean/std) j'ai choisi les entrées initiales
qui sont de grandes valeurs ce pour ce raison j'ai obtenu toujours y=1
merciiiiiiiiiiiiiiiiiiii beaucoup FRANCY;););););););):P
20/03/2011, 17h51
Franck Dernoncourt

Tu es le bienvenu :)
20/03/2011, 18h04
frihat mohamed

francy
lorsque j'essaye d'afficher le biais de la couche d'entreé
j' ai tapé
net.b(1)
mais j'ai obtenu
ans =

[4x1 double]
je veut afficher les valeurs
20/03/2011, 18h28
Franck Dernoncourt

Essaie net.b{1}

Voir 40 message(s) de cette discussion en une page