Discussion :

[ghost942]

Bonjour,

Je débute dans les réseaux neuronaux et je me suis décidé a me tourner sur la librairie FANN qui semble avoir bonne presse. Pour information, j'utilise Delphi et son composant Tfannnetwork.

J'aurais une question sur la présentation de données a l'entrée d'un reseau. L'exemple de la fonction XOR est cité mais j'aurais aimé savoir comment présenté des "données groupées" du style:

(x1,y1,z1)
(x2,y2,z2)
...
(xn,yn,zn)

( Les couples de données representant une entité qui pourrait etre par exemple les caractéristiques d'une personne (age,sexe,taille,poids) )

Faut-il les présenter de manière séquentielle en affectant un neurone par données et le réseau se débrouillant tout seul avec ... ou faut il signifier au réseau qu'il s'agit de groupes?!

[Alp]

Je pense que donner tout ça de manière séquentielle au réseau est préférable. Enfin je ne vois pas trop comment on peut "grouper"...

De toute manière, une fois que toutes les informations seront données au réseau, elles ne représenteront plus que des nombres qui permettront de corriger des poids, tout ça avec une abstraction mathématique.

[Aszarsha]

Faut-il les présenter de manière séquentielle en affectant un neurone par données et le réseau se débrouillant tout seul avec ... ou faut il signifier au réseau qu'il s'agit de groupes?!

On parle bien de réseau de neurones là ?
Parce que "affecter un neurone par données" ne veux vraiment rien dire...
Je ne voit pas non plus ce que peut bien vouloir dire "signifier au réseau qu'il s'agit de groupes".

Tu code ton réseau (ou tu utilises une bibliothèque qui le fait), puis tui lui fournie une matrice représentant l'ensemble d'entrainement qui va être parcourue en époques. A chaque époque le réseau va évaluer le gradiant de l'erreur et modifier ses poids en conséquence.

[ghost942]

Merci pour ces informations.

J'ai monté mon réseau de neurones. Je me suis basé sur l'exemple de la fonction Xor tout simplement fournie avec la librairie ( FANN)

Mais je me posais une question.

Pour la phase d'apprentissage, je lui présente les échantillons de manière séquentiellet et toujours donc, dans la même ordre. Le nombre d'échantillons est relativement important (presque 500 000).

Est ce qu'il serait judicieux de lui présenter ces échantillons de façon aléatoire plutot que séquentielle?

[Alp]

Ne te préoccupe pas trop de l'ordre dans lequel tu présente les échantillons mais plutôt de leur pertinence, ce qui consiste à prendre des échantillons avec des informations caractéristiques aussi variées que possible, afin que ton réseau de neurone puisse généraliser au mieux, ayant fait face à des situations aussi diverses que possible.

Je te renvoie à ce sujet vers mon article sur la théorie des réseaux de neurones

[ghost942]

ah ok. Merci bien. Je vais aller lire ta documentation!

J'avais un peu peur que le réseau acquière une forme d'expérience 'séquentielle' alors qu'en définitif, les données sur lesquelles il
doit s'appliquer ne sont bien sur pas du tout séquentielles.

Egalement, avant de lire ton article.

Toujours dans la phase d'apprentissage, j'ai deux boucles

Boucle Epoques
{
Boucle Echantillons
{
......
MSE=Entrainement Reseau
}
}

Toutes les XX epoches, j'effectue une évaluation de réussite sur des données que le réseau ne connait pas. Je fais une sauvegarde fichier de ce reseau.

Dans la boucle d'échantillons, je mesure et affiche la mean square error de sortie. Or cette erreur (MSE) pour une itération de la boucle 'echantillon', varie d'un minimum a un maximum ~0 -> ~0.99.

Comment doit 'on percevoir cette variation du MSE? Est ce qu'il vaut mieux que je sauvegarde mon reseau quand le MSE atteint une valeur basse (proche de zéro) ou tout simplement comme je le fais deja, en fin de boucle.

[Alp]

Ce que tu peux faire c'est sauvegarder après chaque époque. Et tu reprends le réseau avec la plus petite erreur.

C'est à dire : après entrainement, au début, l'erreur va diminuer jusqu'à atteindre un minimum. Ensuite, elle va faire un peu n'importe quoi sur des exemples que tu ne connais pas (sur-apprentissage / overfitting). Tu en déduiras alors que là où tu as eu le minimum sur les exemples inconnus, c'est ton réseau de neurone (quasi-)optimal.