Reconnaissance des caractères

Version imprimable

15/04/2008, 14h01
djtsou

Reconnaissance des caractères

Bonjour,
J’ai trouvé un bon exemple de reconnaissance des caractères par le réseau de neurone sur un cite officiel de Matlab : lien
Voici un petit résumé de cet exemple :

Un réseau doit être conçu et formé pour identifier les 26 lettres de l'alphabet. Après le prétraitement de chaque lettres (binairisation, redimensionnement (ici 5*7 pixel)), le résultat est que chaque lettre est représentée en tant que 5 *7 pixels.

Voici un exemple pour la lettre A :

http://uploads.imagup.com/03/1208257928_A1.JPG
Voici un exemple pour la lettre A en présence de bruit :
http://uploads.imagup.com/03/1208257976_A2.JPG

Nous avons 5*7 =35 éléments qui seront stockés dans un vecteur qui s’appelle alphabet. Et puisque nous avons 26 lettres, chaque lettres est représentée par un numéro ou encore cible (targets). Par exemple pour la lettre A, targets =1 (pour B : targets =2, pour C : targets = 3 etc...).

L’architecture de réseau de neurone est la suivante :
http://uploads.imagup.com/03/1208259097_nn.JPG

Le réseau a besoin de 35 entrées et 26 neurones dans la couche de sortie pour identifier les lettres.
Les 26 fonctions d’activations (ou fonction de transfert) pour la couche de sortie utilisées pour cette exemple sont : logsig (De même pour les 10 fonctions d’activations de la couche cachée).

http://uploads.imagup.com/03/1208258077_logsig.JPG

Le réseau est formé pour produire un 1 en position correcte du vecteur de sortie et de remplir par 0.
Questions :
1- Pourquoi le choix de 10 neurones de la couche cachée ? Autrement dit comment peut-on déterminer le nombre de neurones de la couche cachée ?

2- Quand est ce qu’on ajoute d’autres couches cachées ? Parce que j’ai trouvé le même exemple, sauf que cette fois pour la reconnaissance des chiffres (vous pouvez le télécharger ici) avec deux couches cachées.

3- Pourquoi ont-ils utilisé la fonction d’activation logsig et non pas par exemple hardlim ?

4- Ce type de réseau est appelé feed-forward backpropagation network. Est ce que quelqu’un à une idée sur ce type de réseau ?

Merci !
15/04/2008, 14h59
Ange_blond

Miam du Réseau de Neurone :mouarf:

Citation:

Questions :
1- Pourquoi le choix de 10 neurones de la couche cachée ? Autrement dit comment peut-on déterminer le nombre de neurones de la couche cachée ?

Selon moi il n'y a pas de formule pour déterminer le nombre de neurones de la couche cachée... moi j'aurais tendance à en mettre autant que tu as d'entrées... mais apres je n'en sais pas bcp plus.

Citation:

2- Quand est ce qu’on ajoute d’autres couches cachées ? Parce que j’ai trouvé le même exemple, sauf que cette fois pour la reconnaissance des chiffres (vous pouvez le télécharger ici) avec deux couches cachées.

Plus tu ajoute de couches, plus tu devrais être précis tout simplement... encore une fois pas de standards... à toi de voir.

Citation:

3- Pourquoi ont-ils utilisé la fonction d’activation logsig et non pas par exemple hardlim ?

logsig est la plus utilisée, je connais pas l'autre que tu propose d'ailleurs... apres tu peux t'en construire une rien qu'a toi...

Citation:

4- Ce type de réseau est appelé feed-forward backpropagation network. Est ce que quelqu’un à une idée sur ce type de réseau ?

Je suppose qu'on peut traduit ça par "apprentissage par rétropropagation du gradient". Il s'agit de calculer ton erreur en sortie, et de faire "remonter" cette erreur couche par couche pour ajuster tes poids synaptiques au fur et à mesure, en fonction de cette erreur bien sur. Il existe pas mal de doc à ce sujet, je doute que tu ait trop de mal à en trouver...

Bon courage.
15/04/2008, 15h17
Alp

Citation:

Envoyé par djtsou

1- Pourquoi le choix de 10 neurones de la couche cachée ? Autrement dit comment peut-on déterminer le nombre de neurones de la couche cachée ?

Il est impossible de le déterminer. Sauf dans des cas simplissimes. Donc généralement, tu en mets autant que dans la couche d'entrée... un peu plus, ou un peu moins... Tu vois le genre ? :aie:

Citation:

Envoyé par djtsou

2- Quand est ce qu’on ajoute d’autres couches cachées ? Parce que j’ai trouvé le même exemple, sauf que cette fois pour la reconnaissance des chiffres (vous pouvez le télécharger ici) avec deux couches cachées.

Comme l'a dit Ange_Blond, ça permet de pouvoir approcher des "fonctions" de plus en plus complexes. Toutefois, tu peux jeter un oeil au Théorème de Cybenko ;)

Citation:

Envoyé par djtsou

3- Pourquoi ont-ils utilisé la fonction d’activation logsig et non pas par exemple hardlim ?

C'est toi qui voit ça. Par contre, si tu veux avoir des 0 et 1 uniquement en sortie, et non pas de valeurs de [0;1], c'est une fonction seuil qu'il te faut.

Citation:

Envoyé par djtsou

4- Ce type de réseau est appelé feed-forward backpropagation network. Est ce que quelqu’un à une idée sur ce type de réseau ?

Comme l'a dit Ange_Blond, c'est lié à l'algorithme d'apprentissage qui y est attaché. Un tutoriel sur la théorie des réseaux de neurones feed-forward devrait d'ailleurs faire son apparition dans quelques temps, sur developpez.
15/04/2008, 15h26
Ange_blond

Citation:

Envoyé par Alp

Par contre, si tu veux avoir des 0 et 1 uniquement en sortie, et non pas de valeurs de [0;1], c'est une fonction seuil qu'il te faut.

Pas forcément, il suffit de prendre la plus grande des valeurs à la sortie... ça évite de "perdre" des info via seuillage sur la sortie...
15/04/2008, 16h23
Alp

Tu as mal compris mon message.
S'il veut avoir que des 0 et des 1 en sortie, il faut une fonction à seuil.
Et c'est ce qu'il a écrit.

Par contre, si on a une fonction sigmoïde sur la couche de sortie (pour chaque neurone), alors effectivement il suffit de prendre la plus grande des valeurs de sortie (= la plus proche de 1). Mais ça ne permet pas d'avoir des 0 et des 1 en sortie. Et ça bloque pour l'apprentissage ;)
15/04/2008, 19h41
djtsou

Merci Ange_blond et Alp de me répondre,:king:

Tout est clair maintenant et c’est grâce à vous bien sûre ;). Sauf que j’ai un petit problème.:oops:

Revenons à notre architecture de réseau de neurones :
Si vous vous rappelez, j’ai dit que le réseau a besoin de 35 entrées et 26 neurones dans la couche de sortie pour identifier les lettres.
Est que :
- chaque neurone prend les 35 valeurs de pixels de l’image en entrée de la même lettre
-ou chaque neurone prend les 35 valeurs de pixels de l’image en entrée de toutes les lettres
-ou chaque neurone prend la valeur d’un pixel de l’image en entrée de la même lettre (ici il ne faut donc 35 neurones pour la première couche et non pas 10) ? :aie:
15/04/2008, 20h38
Alp

Quand tu lui donnes l'image, que tu décomposes en 35 pixels, tu vas avoir donc 35 informations en entrée. Ces 35 informations seront reliées à chacun de tes 10 neurones de la couche cachée.
15/04/2008, 21h58
djtsou

maintenant tout est claire!:yaisse2:
juste une petite information:
mon travail en fait ne concerne pas la reconnaissance des caractères (surtout ne partez pas ).
mon travail est d'identifier une une signature manuscrite, alors ToTo13 ma conseillé de jeter un œil sur les méthode de reconnaissance de caractères manuscrit lien. et puis voila!
Ca m'a vraiment aider et je le remercie encore.
je pense que nous pouvons utiliser le réseau de neurone pour la reconnaissance d'une signature manuscrite, sauf que le vecteur contenant les 35 éléments d'information (5*7 pixels) ne permet pas de garantir toute la pertinence des caractéristiques contenu dans ce vecteur :oops:. alors je doit augmenter sa taille.
ma question est: si j'augmente le nombre d'élément d'information ( par exemple de 35 à 2500 ou plus) es que l'architecture de réseau de neurone, utilisé pour la reconnaissance des caractères, sera t-il modifié ?
ou prendre cette architecture et de faire un petit apprentissage de ce réseau?
merci :king:
15/04/2008, 22h27
Alp

Si tu as N pixels, ça te fait N informations faire passer dans ton réseau de neurone.

Et alors ?
Hé bien en fait pour gérer ces N informations, il faut voir en faisant des tests combien de neurones de couche cachée il te faut. Tu n'as qu'à tester.
Je ne sais pas s'il te faut changer le nombre de neurone de la couche cachée.
15/04/2008, 22h45
djtsou

vous avez raison: Plus j'ajoute de couches, plus la précision augmente.

je vous remercie encore!:D
15/04/2008, 22h50
Alp

Si tu augmentes le nombre de pixels, je doute qu'il faille plus de couches mais plutôt plus de neurones dans la couche cachée.
15/04/2008, 23h58
djtsou

Citation:

Envoyé par Alp

Si tu augmentes le nombre de pixels, je doute qu'il faille plus de couches mais plutôt plus de neurones dans la couche cachée.

Plus de neurones dans la couche cachée, Surtout pas ça !:arf:

De plus vous m'avez dit que: "Il est impossible de le déterminer. Sauf dans des cas simplissimes. Donc généralement, tu en mets autant que dans la couche d'entrée."

svp vous pouvez m'aider :oops:
16/04/2008, 00h21
Alp

Pour être clair, la boite noire des réseaux de neurones c'est la couche cachée. Tu ne sais pas à l'avance combien en mettre. Tu dois faire des tests, avec un apprentissage tout prêt, et modifier le nombre de neurones, et voir quelle structure donne les meilleurs résultats.