Réseaux de neurones, initialisation du seuil.

Bonjour,

Je me suis mis à lire le cours sur les réseaux de neurones de Alp Mestan, j'aimerais être sûr de mes acquis sur un neurone seul avant d'aller plus loin.

Je suis arrivé à faire apprendre à mon neurone toutes les fonctions booléenne à deux variables linéairement séparables, mais je reste bloqué sur le seuil w_0... Si j'ai bien compris c'est l'ordonnée à l'origine de la droite séparant le vrai du faux, dans quel cas il est impossible d'apprendre la fonction complémentation droite (f(00)=f(10)=1 et f(01)=f(11)=0) avec un seuil compris entre 0 et 1 ?
Donc on ne peux pas créer de neurone (avec un seuil fixé) qui puisse apprendre n'importe quelle fonction ? À moins que l'on puisse apprendre le seuil ?

Merci pour votre aide !

Citation:

---

je reste bloqué sur le seuil w_0

---

Je ne sais pas ce que vous avez avec ça (tu n'est pas le premier), mais les w_x NE SONT PAS des seuil MAIS des poids

cf le cour de Alp :

Citation:

---

Un poids est simplement un coefficient w_i [...]. Il y a toutefois un "poids" supplémentaire [...]. Nous le noterons w 0 [...]

---

Citation:

---

Si j'ai bien compris c'est l'ordonnée à l'origine de la droite séparant le vrai du faux

---

En effet, w_0, coefficient de biais, est l'ordonnée à l'origine. Par contre je ne dirais pas " séparant le vrai du faux", " séparant les classes".

Citation:

---

dans quel cas il est impossible d'apprendre la fonction complémentation droite (f(00)=f(10)=1 et f(01)=f(11)=0) avec un seuil compris entre 0 et 1 ?

---

Désolé, mais la je ne comprends pas ce que tu veut dire. Ta fonction est linéairement séparable ... Il n'y pas de soucis même avec un perceptron...

Citation:

---

Donc on ne peux pas créer de neurone (avec un seuil fixé) qui puisse apprendre n'importe quelle fonction ? À moins que l'on puisse apprendre le seuil ?

---

Encore une fois tu confonds "poids" et "seuil".
Pour répondre à ta question : Le but d'un réseau de neurone est, justement, d'apprendre ces poids w_i, dont fait partie w_0, afin d'apprendre la fonction voulue.

Le seuil est une limite fixe qui qui permet de rendre compte ou non de la sortie d'un neurone.

Code:

---

1 2 3 4 5 6 7 8 9 10

x_0 \ w_0 \ ... ----- g(e) --- ... ---y_hat / w_n / x_n

---

avec :
x_0, ..., x_n les entrées.
w_0, ..., w_n les poids correspondant aux x_i
e=w_0*x_0+...+w_n*x_n.
g() la fonction d'activation, qui détermine le seuil (cf cours de Alp).
y_hat la prédiction.
Les ... entre g(e) et y_hat indique des couches cachées.

En espérant que cela t'aide.

Ok, je crois avoir compris, merci !
En fait, le coefficient de biais w_0 (relié à une entrée x_0=-1), peut être initialisé avec une valeur aléatoire et être ajusté durant l'apprentissage ?
Mais les algo d'apprentissages de l'articles utilisent tous une boucle:

Code:

---

POUR 1 <= i <= n

---

w_0 n'est donc pas modifié...

Ma question sur la complémentation droite est en fait lié à ce problème.

Sinon dans l'article il est dit en III-D et en IV:

Citation:

---

le coefficient de biais, aussi appelé seuil

---

Normal?

EDIT: Bon après quelques recherches, il semblerait que le coefficient de biais doit aussi être modifier lors de l'apprentissage. Merci clercq.

Bonjour,

Une simple question à ce sujet : le biais est-il corrigé de la même manière que les poids des connexions ?

Merci.

Citation:

---

le coefficient de biais, aussi appelé seuil

---

Mea culpa, c'est écrit...
Pour ma défense, j'ai appris que w_0 est un poids tout comme les autres, associé à "une dimension supplémentaire" qui introduit le biais.

Pour répondre à Courieux, ce biais est corrigé exactement de la même manière que les autres poids.

Je tiens juste à préciser que mes réponses proviennent de ce que j'ai appris en cours :scarymov:, et peuvent malheureusement être exprimé différemment que dans le cours de Alp :oops:. Même si j'essaie de conserver une certaine cohérence :aie:

Je suis nouveau ,et je ne sais pas si cette question a été dejà traitée .

Pour en revenir à la formulation matricielle de Alp

A supposer que l'on obtient les poids de chaque connection ou synapses .
Comment fait on intervenir les seuil (tanh et sygmoide) pour calculer la sortie d'un perceptron 2 couches cachées et 3 neurones par couche par exemple

Merci de répondre à l'adresse Email ci dessous
samisoa.rafamandrianjafy@omh.mg