Discussion :

[Epsilon012]

Bonjour,

Je me suis mis à lire le cours sur les réseaux de neurones de Alp Mestan, j'aimerais être sûr de mes acquis sur un neurone seul avant d'aller plus loin.

Je suis arrivé à faire apprendre à mon neurone toutes les fonctions booléenne à deux variables linéairement séparables, mais je reste bloqué sur le seuil w_0... Si j'ai bien compris c'est l'ordonnée à l'origine de la droite séparant le vrai du faux, dans quel cas il est impossible d'apprendre la fonction complémentation droite (f(00)=f(10)=1 et f(01)=f(11)=0) avec un seuil compris entre 0 et 1 ?
Donc on ne peux pas créer de neurone (avec un seuil fixé) qui puisse apprendre n'importe quelle fonction ? À moins que l'on puisse apprendre le seuil ?

Merci pour votre aide !

[Clercq]

je reste bloqué sur le seuil w_0

Je ne sais pas ce que vous avez avec ça (tu n'est pas le premier), mais les w_x NE SONT PAS des seuil MAIS des poids

cf le cour de Alp :

Un poids est simplement un coefficient w_i [...]. Il y a toutefois un "poids" supplémentaire [...]. Nous le noterons w 0 [...]

Si j'ai bien compris c'est l'ordonnée à l'origine de la droite séparant le vrai du faux

En effet, w_0, coefficient de biais, est l'ordonnée à l'origine. Par contre je ne dirais pas " séparant le vrai du faux", " séparant les classes".

dans quel cas il est impossible d'apprendre la fonction complémentation droite (f(00)=f(10)=1 et f(01)=f(11)=0) avec un seuil compris entre 0 et 1 ?

Désolé, mais la je ne comprends pas ce que tu veut dire. Ta fonction est linéairement séparable ... Il n'y pas de soucis même avec un perceptron...

Donc on ne peux pas créer de neurone (avec un seuil fixé) qui puisse apprendre n'importe quelle fonction ? À moins que l'on puisse apprendre le seuil ?

Encore une fois tu confonds "poids" et "seuil".
Pour répondre à ta question : Le but d'un réseau de neurone est, justement, d'apprendre ces poids w_i, dont fait partie w_0, afin d'apprendre la fonction voulue.

Le seuil est une limite fixe qui qui permet de rendre compte ou non de la sortie d'un neurone.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
 
x_0
      \
       w_0
        \
...      ----- g(e) --- ... ---y_hat 
        /
       w_n
      /
x_n

avec :
x_0, ..., x_n les entrées.
w_0, ..., w_n les poids correspondant aux x_i
e=w_0*x_0+...+w_n*x_n.
g() la fonction d'activation, qui détermine le seuil (cf cours de Alp).
y_hat la prédiction.
Les ... entre g(e) et y_hat indique des couches cachées.

En espérant que cela t'aide.

[Epsilon012]

Ok, je crois avoir compris, merci !
En fait, le coefficient de biais w_0 (relié à une entrée x_0=-1), peut être initialisé avec une valeur aléatoire et être ajusté durant l'apprentissage ?
Mais les algo d'apprentissages de l'articles utilisent tous une boucle:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

POUR 1 <= i <= n

w_0 n'est donc pas modifié...

Ma question sur la complémentation droite est en fait lié à ce problème.

Sinon dans l'article il est dit en III-D et en IV:

le coefficient de biais, aussi appelé seuil

Normal?

EDIT: Bon après quelques recherches, il semblerait que le coefficient de biais doit aussi être modifier lors de l'apprentissage. Merci clercq.

[Courieux]

Bonjour,

Une simple question à ce sujet : le biais est-il corrigé de la même manière que les poids des connexions ?

Merci.

[Clercq]

le coefficient de biais, aussi appelé seuil

Mea culpa, c'est écrit...
Pour ma défense, j'ai appris que w_0 est un poids tout comme les autres, associé à "une dimension supplémentaire" qui introduit le biais.

Pour répondre à Courieux, ce biais est corrigé exactement de la même manière que les autres poids.

Je tiens juste à préciser que mes réponses proviennent de ce que j'ai appris en cours , et peuvent malheureusement être exprimé différemment que dans le cours de Alp . Même si j'essaie de conserver une certaine cohérence

[samisoa]

Je suis nouveau ,et je ne sais pas si cette question a été dejà traitée .

Pour en revenir à la formulation matricielle de Alp

A supposer que l'on obtient les poids de chaque connection ou synapses .
Comment fait on intervenir les seuil (tanh et sygmoide) pour calculer la sortie d'un perceptron 2 couches cachées et 3 neurones par couche par exemple

Merci de répondre à l'adresse Email ci dessous
samisoa.rafamandrianjafy@omh.mg