Discussion :

[mim2284]

Bonjour tout le monde ,

C'est quoi exactement la différence entre un RNN et LSTM, le timstep qu'on trouve dans les codes c'est quoi exactement?

Ce timestep se positionne ou devant les deux modèles?

Merci

[dev_ggy]

Bonjour,

Les deux sont des réseaux de type récurent. Pour le cas du RNN la sortie est redirigée vers l'entrée. Ils ne permettent pas l'apprentissage de dépendances temporelles à long terme. C'est ce que doit résoudre le LSTM.

Voilà la traduction de Stack Exchange : https://stats.stackexchange.com/ques...n-and-lstm-gru

Tous les RNN ont des boucles de rétroaction dans la couche récurrente. Cela leur permet de conserver les informations dans la «mémoire» au fil du temps. Mais, il peut être difficile de former des RNN standard pour résoudre des problèmes qui nécessitent l'apprentissage de dépendances temporelles à long terme. En effet, le gradient de la fonction de perte décroît de façon exponentielle avec le temps (appelé le problème du gradient de fuite). Les réseaux LSTM sont un type de RNN qui utilise des unités spéciales en plus des unités standard. Les unités LSTM comprennent une «cellule mémoire» qui peut conserver les informations en mémoire pendant de longues périodes. Un ensemble de portes est utilisé pour contrôler quand les informations entrent dans la mémoire, quand elles sont sorties et quand elles sont oubliées. Cette architecture leur permet d'apprendre des dépendances

Cordialement