Discussion :

[jeanlouis_lecodeur]

Bonjour,

Je souhaite mettre en place un réseau de neurones pour fair de la classification de signaux. Les entrées de mon réseau sont des caractéristique des signaux, pour l'instant j'opte pour la moyenne et la variance, plus tard peut-être j'y ajouterai les moments statistiques d'odre 3 et 4. Pour la sortie il n'y en à qu'une, binaire, elle dit si le signal est de type 0 ou 1.

Je ne sais pas quel serait l'architecture idéal pour répondre à mon problème, je pense commencer par le plus simple, le perceptron avec une couche cachée. J'utiliserai aussi une fonction d'activation sigmoïde et un apprentissage par rétro-propagation de l'erreur.

Qu'est ce que vous en pensez ? Il y a peut-être une meilleure solution, je suis ouvert à toutes suggestions.

J'ai aussi une quesiton concernant la couche cachée, je n'ai aucune idée du nombre de neurones que je dois y mettre. Je n'ai aps trouvé de théorie à ce sujet pour les perceptrons.

[Alp]

Généralement, on peut approximer n'importe quelle fonction continue (et même certaines discontinues) grâce à un perceptron multicouche avec une couche cachée, dans le cas où la fonction d'activation est la fonction sigmoïde.

Donc te lancer dans cette structure est approprié.

Pour le nombre de neurones de la couche cachée, il y a des approximations dans certains cas (réseau avec des fonctions à seuil -> pour approcher une fonction booléenne) mais il n'y a rien qui te permet de savoir combien de neurones mettre. Il s'agit donc de faire des essais aléatoires pour le nombre de neurones dans la couche cachée.

La question donc est de savoir si, pour deux signaux aux caractéristiques très proches, ton réseau doit donner la même chose en sortie (continuité, cf le premier paragraphe de mon message).
Il semblerait que oui mais bon.

[jeanlouis_lecodeur]

Merci, ta remarque sur la continuité m'aide beaucoup, je ne l'avais pas trouvée autre part.

Donc pour le nombre de neurones, voir ^même le nombre de couche je vais me lancer et on vera.

J'ai une autre question, est ce que tous les neurones doivent être identiques, dans une même couche et/ou d'une couche à l'autre. Je parle de leur fonction d'activation et de leur fonction de combinaison.

[Alp]

Le théorème qui a été démontré dit qu'avec un RdN à une seule couche cachée, où chaque neurone a comme fonction d'activation la fonction sigmoïde, peut approcher n'importe quelle fonction continue.
Il me semble que c'est le théorème de Cybenko.

Pour le nombre de couches cachées -> 1 seule suffira en principe.

Après, pour le nombre de neurones de la couche cachée ... Tu dois tester et tenter d'améliorer.