Discussion :

[10U0092]

Salut à tous,

Je débute tout juste un Master en IA et je coince au niveau des méthodes de descente dans le cadre de l'optimisation sans contraintes des champs scalaires. Alors il serait pour moi bénéfique d'obtenir de l'aide. Les principales interrogations sont les suivantes :

- Géographiquement, dans quel cas utiliser un pas grand ou un petit pas??
- Quelle est la logique derrière la méthode de Wolfe?

Merci pour vos réponses.

[dourouc05]

Si ta fonction est suffisamment "gentille", tu peux suivre l'opposé du gradient pendant une certaine période et minimiser la fonction ; sinon, suivre l'opposé du gradient trop longtemps te mènera dans des contrées inconnues (par exemple, avec des fonctions comme celle de Rosenbrock : https://en.wikipedia.org/wiki/Rosenbrock_function). Dans le premier cas, tu peux te permettre d'utiliser de grands pas, pas dans la seconde. C'est l'intuition derrière les conditions de Wolfe.

[Nebulix]

J'utilise le "downhill simplex" de Nelder et Mead depuis des décennies avec une totale satisfaction. cf Numerical Recipes.

[dourouc05]

Le problème de Nelder-Mead, c'est que ça n'est qu'une heuristique, qui ne converge pas forcément à un point stationnaire… Son grand avantage est cependant de ne pas nécessiter de dérivée, ce qui peut être déterminant selon les applications (il n'est pas rare qu'elle soit disponible pour de l'apprentissage automatique, ce qui semble être le cas ici, ce serait dommage ne pas exploiter cette info). (Maintenant, ça n'est pas non plus un algorithme de descente, ce qui semble donc hors de portée de la question initiale, vu le titre et le contenu.)