Discussion :

[breiz3522]

Bonjour,

Je suis confronté à un problème. En effet, dans toute la littérature scientifique que je parcours (anglaise et française), je tombe très fréquemment sur le terme « Modèle » (Sélection du modèle, entraînement du modèle).

Cependant, ce terme de modèle n’est jamais réellement définit.

Je comprends globalement le terme mais j’ai beaucoup de mal à définir la frontière entre le modèle de machine learning et l’algorithme de machine learning.

De mes recherches sur le concept de modèle sont ressorties les explications suivantes:

- Le modèle est la sortie générée lorsqu’on entraîne un algorithme de machine learning avec un jeu de donnée d’entraînement
- En machine learning, tout objet créé après l’entraînement à partir d’un algorithme de machine learning est appelé modèle (par exemple, modèle SVM, modèle de forêt aléatoire…) Les deux exemples entre parenthèses sont pour moi des algorithmes pourtant !
- En machine learning, l’objectif est de trouver un modèle du phénomène à l’origine des données.

Pourriez-vous me donner vos avis sur ces définitions/explicatios, voir me donner le vôtre si vous trouvez ces dernières non pertinentes, voir injuste?

[dourouc05]

Les SVM et forêts aléatoires sont bien des algos. En sortie, cependant, tu as d'un côté un hyperplan linéaire (dans un certain espace) et, de l'autre, une série d'arbres : ce sont tes modèles.

[breiz3522]

Du coup, si je comprends bien, lorsqu'on parle d'entraînement du modèle, c'est une erreur. On entraîne l'algorithme et il donnera un type de sortie, qui est notre modèle.

Et je profite de ta science pour poser une question (maintenant que le problème initial est résolu).

Quels sont les modèles qui "ressortent" des algorithmes suivants:

- Arbre de décision
- K-NN
- Neural network
- Classification naïve bayésienne
- K-means
- PCA

J'abuse peut être un petit peu mais qui ne tente rien n'a rien!

Merci BEAUCOUP pour ta réponse en tout cas!

[dourouc05]

On ne peut pas entraîner un algorithme : on l'applique sur un jeu de données. L'algo en lui-même ne change pas. Par contre, ça le fait tellement bien de dire qu'on entraîne des modèles .

Pour ta deuxième question :
- Arbre de décision -> un arbre (comme pour une forêt) ;
- K-NN -> il n'y a pas vraiment de modèle (ou alors c'est une fonction qui dépend de toutes tes données d'entrée) ;
- Neural network -> un réseau avec son architecture et ses poids ;
- Classification naïve bayésienne -> un modèle probabiliste (c'est-à-dire des probabilités conditionnelles, d'après la factorisation imposée par l'algorithme) ;
- K-means, PCA -> je ne pense pas qu'on puisse dire que ces algos ressortent des modèles (ils font de l'apprentissage non supervisé).

[breiz3522]

MERCI DU FOND DU COEUR!!!!!!!!!!!!!!!!!!!! Si t'habites à Toulouse ou aux alentours, je t'offre une bonne bière!!

Un mois à éplucher des articles scientifiques dans tous les sens pour au final me rendre compte que la majorité de ces scientifiques utilisent un terme "pour faire bien"...

[dourouc05]

Je m'en souviendrai quand j'irai dans le sud !

Maintenant, dans la littérature scientifique, quand tu enlèves toutes les parties qui ne font que du blabla pour que ça ait l'air bien, il ne reste parfois plus grand-chose . Et ça ne plaît pas toujours à tout le monde :

While theoretically grounded arguments are certainly welcome, it is counterproductive to add “decorative math” whose primary purpose is to make the submission look more substantial or even intimidating, without adding significant insight.

[Al_th]

Pour être un peu plus nuancé que dourou05 :


Prenons le cas d'un circuit électrique dans lesquel on mesure la tension (U) et le courant (I). La mesure est imprécise et on obtient les valeurs suivantes :

U's : [3 5 6 2 1]
I's : [6.05 9.99 12.3 4.1 2.1]

https://www.desmos.com/calculator/kqvhlzwhfk

On remarque un genre de relation linéaire entre U et I. On va établir un modèle de cette relation linéaire. Allez, disons U = a*I + b. C'est ce qu'on appelle un modèle.

Reste à déterminer a et b. On appelle cette étape la paramétrisation du modèle. Ici, on peut utiliser des méthodes diverses et variées. En utilisant Wolfram Alpha (http://www.wolframalpha.com/input/?i...7D+%7B1,2.1%7D), on trouve a = 2.02116 et b = 0.036

https://www.desmos.com/calculator/d2uuuwscra


-------------------------

Pour revenir à la modélisation dans le contexte de l'apprentissage statistique, lorsqu'il est mentionné que l'on "entraine un modèle", en fait, ce qu'on fait c'est (souvent) de le paramétriser. C'est donc une utilisation un peu prétentieuse du langage, effectivement. Néanmoins, j'en reviens à la raison de ma "nuance" : il existe des algorithmes qui définissent le modèle "at runtime".

Pour donner un exemple, si l'on considère la méthode des arbres de décisions, il existe des algorithmes automatiques dits de "pruning" (pour "élagage") qui changent la structure de l'arbre. Si le modèle général est conservé (i.e un arbre de décision dans lequel chacune des branches représentent la réponse à une question séparant tes données), la structure est tout de même modifiée.

En faisant le lien avec le problème "jouet" du courant et de la tension : on a modélisé la relation par U = a*I + b. On aurait tout aussi bien pu le modéliser par U = a*I (i.e forcer b = 0). J'en profite pour faire remarquer que "forcer b = 0" est une contrainte qui est assez habituelle dans le domaine de l'optimisation. Et comme l'optimisation et l'apprentissage statistique sont étroitement liés, je te laisse faire le lien avec mon commentaire précédent : il y a pas mal d'applications dans lesquelles on modifie de manière assez marquée (mais localement) les modèles lors de l'apprentissage.

- K-means, PCA -> je ne pense pas qu'on puisse dire que ces algos ressortent des modèles (ils font de l'apprentissage non supervisé).

Hmmm, dans le cas de la PCA, on se place tout de même dans une situation où l'on considère que les données sont décomposables dans un espace particulier. C'est un choix de modélisation de choisir cette décomposition pour que l'espace ait des propriétés particulières (i.e base dans laquelle les composantes sont décorrélées), et encore plus lorsqu'on choisit de ne conserver que les X composantes principales. Je conviens cependant que dans ce cas là, on parle plutôt de modèle descriptif que de modèle prédictif.