Discussion :

[wolfenstein51]

Bonjour à tous ,

J'essais de prédire la valeur n+1 d'une fonction non linéaire, j'ai donc configurer mon réseau de neurone comme suit : couche de sortie une fonction d'activation linéaire , couche caché une fonction linéaire aussi . Est ce que cette configuration vous parait corret ? Pour l'instant c'est un échec, mais avant de modifié le nombre de neurones par couches ou d'autre parametre je veux être sur que je part sur une bonne base .

Merci de vos réponses

ps je n'es ni formation en informatique , ni en mathématique (du moins a votre niveau) donc excusez moi si la question vous parait bête.

[Franck Dernoncourt]

prédire la valeur n+1 d'une fonction non linéaire, j'ai donc configurer mon réseau de neurone comme suit : couche de sortie une fonction d'activation linéaire , couche caché une fonction linéaire aussi . Est ce que cette configuration vous parait corret ?

Non. Il faut que tu changes les fonctions d'activation afin que certaines d'entre elles au moins ne soient pas linéaires.

http://fr.wikipedia.org/wiki/Neurone_formel :

Propriétés importantes de la fonction d'activation :

Les propriétés de la fonction d'activation influent en effet sur celle du neurone formel et il est donc important de bien choisir celle-ci pour obtenir un modèle utile en pratique.
Quand les neurones sont combinés en un réseau de neurones formels, il est important par exemple que la fonction d'activation de certains d'entre eux ne soit pas un polynôme sous réserve de limiter la puissance de calcul du réseau obtenu2. Un cas caricatural de puissance limitée correspond à l'utilisation d'une fonction d'activation linéaire, comme la fonction identité : dans une telle situation le calcul global réalisé par le réseau est lui-aussi linéaire et il est donc parfaitement inutile d'utiliser plusieurs neurones, un seul donnant des résultats strictement équivalents.
Cependant, les fonctions de type sigmoïde sont généralement bornées. Dans certaines applications, il est important que les sorties du réseau de neurones ne soient pas limitées a priori : certains neurones du réseau doivent alors utiliser une fonction d'activation non bornée. On choisit généralement la fonction identité.
Il est aussi utile en pratique que la fonction d'activation présente une certaine forme de régularité. Pour calculer le gradient de l'erreur commise par un réseau de neurones, lors de son apprentissage, il faut que la fonction d'activation soit dérivable. Pour calculer la matrice hessienne de l'erreur, ce qui est utile pour certaines analyses d'erreur, il faut que la fonction d'activation soit dérivable deux fois. Comme elles comportent généralement des points singuliers, les fonctions linéaires par morceaux sont relativement peu utilisées en pratique.

[wolfenstein51]

merci de ta réponse