IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Mathématiques Discussion :

Approximation au sens des moindres carrés


Sujet :

Mathématiques

  1. #41
    Expert éminent sénior

    Profil pro
    Inscrit en
    Janvier 2007
    Messages
    10 603
    Détails du profil
    Informations personnelles :
    Âge : 66
    Localisation : France

    Informations forums :
    Inscription : Janvier 2007
    Messages : 10 603
    Points : 17 913
    Points
    17 913
    Billets dans le blog
    2
    Par défaut
    Pour terminer là-dessus, résumons...

    Quand à la réponse :

    Citation Envoyé par Ehouarn Voir le message
    Les méthodes dites de "collocation" (mais le terme est peu utilisé) désignent simplement les méthodes où on impose à l’approximation de passer exactement par les points de mesure (par ex. en utilisant les polynômes de Lagrange).
    Je répond :

    Citation Envoyé par souviron34 Voir le message
    mais alors ce n'est pas une approximation mais une interpolation (comme un spline), non ??
    On me répond :

    Citation Envoyé par Aleph69 Voir le message
    Les interpolations sont bien des approximations : ce sont justement les approximations où l'on impose la contrainte supplémentaire d'approcher exactement une fonction en un certain nombre de points (cf remarque de Ehouarn).
    Ceci est faux et archi-faux...

    Et ne peut être laissé non corrigé sur un forum tel que DVP.


    Ce qui est confirmé par ta citation :

    Citation Envoyé par Alexis.M Voir le message
    L'interpolation est proche (related to) mais distincte de l'approximation de fonction.

    Il est aussi absurde d'assimiler les 2 que de dire que, parce nous naissons tous d'un spermatozoide et d'un ovule, un homme est un cas particulier d'une femme, ou bien que puisque toutes les villes sont nées de villages, une ville de 10 millions d'habitants est un cas particulier d'un village de 250...

    C'est aussi absurde que de dire que, puisque en 3D un cercle vu de dessus est un segment de droite, un segment est un cas particulier d'un cercle (ou inversement).


    Contrairement à ce que tu dis

    Citation Envoyé par Alexis.M Voir le message
    @souviron34 Donc oui l'interpolation est une méthode d'approximation mais où, en quelque sorte, on modélise des propriétés locales
    ...
    Parfois il peut y avoir confusion.

    Ce sont 2 notions différentes, qui ont des entrées différentes, des objectifs différents, des méthodes différentes, et des résultats différents.


    Comment peut-on y voir quelque chose qui ferait de l'une un cas particulier de l'autre ????


    Pour résumer :

    • Une approximation

      • a en entrée un nuage de points pensé comme statistiquement significatif dans sa globalité
      • a pour objectif de déterminer une fonction
      • a des méthodes adaptées à cet objectif
      • a pour résultat une fonction



    • Une interpolation :

      • a en entrée un ensemble de points pensé comme individuellement significatifs, sans aucune notion de statistique
      • a pour objectif de déterminer un point
      • a des méthodes adaptées a cet objectif
      • a pour résultat une valeur



    Alors il se peut que une méthode valable pour un problème soit également valable pour un autre, cela n'en fait pas d'un des problèmes un dérivé de l'autre...


    En tous cas, sur un site de la qualité de DVP, il est inacceptable de propager de fausses notions, et cela méritait simplement d'être corrigé.



    PS: d'autre part, autant j'apprécie en général les interventions de Aleph69 dans son domaine de prédilection, autant la condescendance et le rejet d'un revers de main de aussi bien des professionnels aguerris que de l'Histoire de la Science me restent un peu en travers de la gorge...
    "Un homme sage ne croit que la moitié de ce qu’il lit. Plus sage encore, il sait laquelle".

    Consultant indépendant.
    Architecture systèmes complexes. Programmation grosses applications critiques. Ergonomie.
    C, Fortran, XWindow/Motif, Java

    Je ne réponds pas aux MP techniques

  2. #42
    Membre éclairé
    Homme Profil pro
    Ingénieur R&D en apprentissage statistique
    Inscrit en
    Juin 2009
    Messages
    447
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Ingénieur R&D en apprentissage statistique

    Informations forums :
    Inscription : Juin 2009
    Messages : 447
    Points : 752
    Points
    752
    Par défaut
    J'avais décidé d'écrire un message tentant de réconcilier la chèvre et le choux et puis finalement je l'ai effacé...

    Citation Envoyé par souviron34 Voir le message

    Une approximation

    • a en entrée un nuage de points pensé comme statistiquement significatif dans sa globalité
    • a pour objectif de déterminer une fonction
    • a des méthodes adaptées à cet objectif
    • a pour résultat une fonction
    Ta définition de "approximation" est trop restrictive et correspond au sous-domaine qu'est la "régression".
    Elle ne tient notamment pas compte ou fait la confusion avec l'approximation de fonction par d'autres fonctions, comme les séries de Fourier tronquées, l'approximation polynômiale, la décomposition sur polynômes orthogonaux etc... qui, quoique calculable analytiquement, correspondent souvent également à une approximation au sens des moindres carrés sans qu'il soit question de nuages de points ou de modèle statistique.

    Le fait est que la meilleure approximation au sens des moindres carrés peut aussi s'interpréter comme l'estimation du maximum de vraisemblance d'un modèle statistique où le bruit est gaussien.

    Ainsi la régression linéaire peut être vue comme la fonction linéaires qui s'approche au mieux de tous les points d'une fonction compliquée qui oscille beaucoup, ou l'estimation du maximum de vraisemblance d'un modèle linéaire incorporant un bruit gaussien.

    Donc régression (ce que tu appelles "approximation") et "approximation de fonction" sont deux problèmes qui, quoi que distincts se recouvrent dans certains domaines (estimation des coefficient d'une série de Fourier tronquée, par ex.).

    Une interpolation :

    • a en entrée un ensemble de points pensé comme individuellement significatifs, sans aucune notion de statistique
    • a pour objectif de déterminer un point
    • a des méthodes adaptées a cet objectif
    • a pour résultat une valeur
    Si tu peux caluler la valeur en tout point, cela définit une fonction.

    J'ai (x1,f(x1)), (x2,f(x2)) , (x3, f(x3)) avec x1 < x2 < x3 et je fais de l'interpolation linéaire.
    Pour tout point x1 <= x <= x3:

    g(x) = (1-(x2 - x)/(x2-x1))*f(x2) + (x2 - x)/(x2-x1)*f(x1) si x1<=x<=x2
    et
    g(x) = (1-(x3 - x)/(x3-x2))*f(x3) + (x3 - x)/(x3-x2)*f(x2) si x2< x<=x3

    g(x) est donc bien une fonction définie sur [x1,x3]

    Maintenant si j'ai une fonction f(x) trop longue à calculer, que je l'échantillonne et que j'interpole entre les valeurs échantillonnées
    je rentre bien dans le cadre de l'approximation de fonction (par ex avec des
    fontions quadratiques par morceaux). Et ma fonction d'interpolation g(x) ne coïncide avec f(x) qu'aux points échantillonnés. Je peux même calculer l'erreur d'interpolation:

    \int_x1^x3 (g(x)-f(x))^2 dx

    Il s'agit donc bien d'utiliser l'interpolation comme méthode d'approximation de fonction.

    Autre exemple, une régression linéaire par moindre carrés, avec seulement deux points donne les mêmes résultats que l'interpolation entre ces deux points.
    Donc l'interpolation est un cas particulier de la régression lorsque que le nombre de contraintes et le nombre de paramètres sont égaux.

    Donc oui approximation de fonction, régression et interpolation sont des problèmes distincts mais qui se recouvrent selon le point de vue adopté.

  3. #43
    Expert éminent sénior

    Profil pro
    Inscrit en
    Janvier 2007
    Messages
    10 603
    Détails du profil
    Informations personnelles :
    Âge : 66
    Localisation : France

    Informations forums :
    Inscription : Janvier 2007
    Messages : 10 603
    Points : 17 913
    Points
    17 913
    Billets dans le blog
    2
    Par défaut
    Citation Envoyé par Alexis.M Voir le message
    Ta définition de "approximation" est trop restrictive et correspond au sous-domaine qu'est la "régression".
    Elle ne tient notamment pas compte ou fait la confusion avec l'approximation de fonction par d'autres fonctions, comme les séries de Fourier tronquées, l'approximation polynômiale, la décomposition sur polynômes orthogonaux etc... qui, quoique calculable analytiquement, correspondent souvent également à une approximation au sens des moindres carrés sans qu'il soit question de nuages de points ou de modèle statistique.
    euh..... Justement je ne comprend pas ton point : je n'ai jamais parle de regression en tant que domaine.. Ce n'est qu'une methode parmi d'autres..

    Les moindres carres sont justement une methode statistique : on prend l'ensemble des points et on minimise l'ecart-type et la distance moyenne..

    Un snake, un simplex, sont des methodes d'approximation, et, comme les autres, visent a obtenir une fonction..



    Citation Envoyé par Alexis.M Voir le message
    Donc régression (ce que tu appelles "approximation") et "approximation de fonction" sont deux problèmes qui, quoi que distincts se recouvrent dans certains domaines (estimation des coefficient d'une série de Fourier tronquée, par ex.).
    Tu n'as vraiment pas compris : je dis que une regression lineaire n'est qu'une des methodes parmi plusieurs autres de faire une approximation...

    Donc bien sur que je suis (presque : a la nuance pres que ces domaines ne sont pas distincts : ils sont confondus) d'accord avec ta citation ci-dessus : c'est ce que je me tue a dire depuis 3 pages !!!!!


    Citation Envoyé par Alexis.M Voir le message
    Si tu peux caluler la valeur en tout point, cela définit une fonction.
    Mathematiquement, cela n'existe pas..


    Citation Envoyé par Alexis.M Voir le message
    J'ai (x1,f(x1)), (x2,f(x2)) , (x3, f(x3)) avec x1 < x2 < x3 et je fais de l'interpolation linéaire.
    Pour tout point x1 <= x <= x3:

    g(x) = (1-(x2 - x)/(x2-x1))*f(x2) + (x2 - x)/(x2-x1)*f(x1) si x1<=x<=x2
    et
    g(x) = (1-(x3 - x)/(x3-x2))*f(x3) + (x3 - x)/(x3-x2)*f(x2) si x2< x<=x3

    g(x) est donc bien une fonction définie sur [x1,x3]

    Maintenant si j'ai une fonction f(x) trop longue à calculer, que je l'échantillonne et que j'interpole entre les valeurs échantillonnées
    je rentre bien dans le cadre de l'approximation de fonction (par ex avec des
    fontions quadratiques par morceaux).
    Non : tu rentres dans le cadre d'une interpolation... C'est si difficile que ca a comprendre ? Si tu as une expression precise d'une fonction, tu interpoles. Si tu ne l'as pas, tu cherches cette expression precise, c'est une approximation..



    Citation Envoyé par Alexis.M Voir le message
    Et ma fonction d'interpolation g(x) ne coïncide avec f(x) qu'aux points échantillonnés. Je peux même calculer l'erreur d'interpolation:

    \int_x1^x3 (g(x)-f(x))^2 dx

    Il s'agit donc bien d'utiliser l'interpolation comme méthode d'approximation de fonction.
    Encore une fois tu confonds : tu as l'expression de g(x), puisque tu t'en es servi pour calculer tes points d'echantillon.. Et que tu passes par eux. Donc tu es bien dans le cadre d'une interpolation...


    Citation Envoyé par Alexis.M Voir le message
    Autre exemple, une régression linéaire par moindre carrés, avec seulement deux points donne les mêmes résultats que l'interpolation entre ces deux points.
    Donc l'interpolation est un cas particulier de la régression lorsque que le nombre de contraintes et le nombre de paramètres sont égaux.
    Ceci rejoint mon exemple du segment et du cercle ...

    Tu tournes en rond : une statistique sur 1 point ne s'appelle plus une statistique..

    La tu me justifies que l'un derive de l'autre en sortant du cadre de reference.
    On peut aller loin comme ca : un cercle est un polygone a une infinite de cotes...


    Citation Envoyé par Alexis.M Voir le message
    Donc oui approximation de fonction, régression et interpolation sont des problèmes distincts mais qui se recouvrent selon le point de vue adopté.
    Encore une fois je ne vois pas ce que vient faire regression la-dedans : ce n'est qu'une methode parmi d'autre..

    Quand on parle d'arbre, qu'il soit equlibre, N&B, ou n'importe quoim\, c'est toujours un arbre : on a un concept de base.

    La c'est pareil : il y a un concept de base qui est l'approximation, et un autre concept de base qui est une interpolation.



    Le seul moment (il n'y en a qu'un seul) ou approximation et interpolation recouvrent la meme chose c'est une evaluation de point par approches successives : tu as une equation, avec plusieurs parametres que tu connais, et qui est difficile (voire imposssible pratiquement) a integrer : tu cherches alors la valeur du dernier parametre par iterations, dichotomie, ou autres. La on aura bien un approximation de la VALEUR d'un point dans un contexte qui serait propice a une interpolation..



    En dehors de ca, cela recouvre 2 domaines differents..

    Que quand on fait une approximation, on fasse ensuite une interpolation, bien sur, oui, c'est le but.. Ceci nempeche pas que ce sont 2 notions bien distinctes..

    J'ai vraiment l'impression que vos profs n'ont pas ete clairs sur ce sujet, et vous laissent vous depetrer la-dedans..
    "Un homme sage ne croit que la moitié de ce qu’il lit. Plus sage encore, il sait laquelle".

    Consultant indépendant.
    Architecture systèmes complexes. Programmation grosses applications critiques. Ergonomie.
    C, Fortran, XWindow/Motif, Java

    Je ne réponds pas aux MP techniques

  4. #44
    Membre expérimenté
    Homme Profil pro
    Chercheur
    Inscrit en
    Mars 2010
    Messages
    1 218
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Chercheur

    Informations forums :
    Inscription : Mars 2010
    Messages : 1 218
    Points : 1 685
    Points
    1 685
    Par défaut
    Bonjour,

    soient deux ensembles X et Y non vides et un ensemble fini {(xi,yi); xi dans X, yi dans Y, 1 <=i<=N} pour un entier naturel N strictement positif. Le problème
    trouver une fonction g:X->Y telle que yi=g(xi) pour 1<=i<=N,
    admet pour solution triviale une somme de fonctions de Dirac et ne présente à ma connaissance pas d'intérêt pratique. Notons Y^X l'ensemble des fonctions de X dans Y. Soit U un sous-ensemble de Y^X. Le problème
    trouver dans U une fonction g:X->Y telle que yi=g(xi) pour 1<=i<=N,
    bien que moins trivial que le premier, ne présente, à ma connaissance, pas d'intérêt pratique non plus. C'est pourtant de cette manière qu'est défini le problème de l'interpolation dans de nombreux livres. C'est un point de vue révisionniste du point de vue de l'"Histoire des Sciences" invoquée par certains, car le problème de l'interpolation s'est posé il y a très longtemps en vue d'approcher des fonctions et d'inférer des modèles physiques. Je suis toujours curieux de connaître l'intérêt pratique du problème si quelqu'un le perçoit. Dans de nombreux cas, on s'aperçoit en fait que les solutions de ce problème possèdent des propriétés d'approximation et le problème de l'interpolation devrait être formulé dans les espace où ces propriétés sont vérifiées (cf interpolation dans les espaces de Sobolev par exemple). Quant au problème
    étant donnés un point (x,y), x dans X, y dans Y, et une fonction f:X->Y telle que f(xi)=yi, trouver une fonction g:X->Y telle que g(x)=y,
    que certains semblent assimiler à l'interpolation, il admet évidemment pour solution triviale g=f et la donnée des couples (xi,yi) n'intervient pas dans l'obtention de cette solution. L'obtention de f(x) est évidemment immédiate. Enfin, pour faire court, le problème plus général de l'approximation ne peut pas être celui de déterminer une fonction à partir d'un nombre fini de valeurs car en prenant le cas le plus simple d'une fonction analytique, il y a a priori une infinité de coefficients à déterminer. Comme son nom l'indique, l'approximation consiste seulement à approcher à une précision donnée une fonction par une autre plus simple.

  5. #45
    Membre éclairé
    Homme Profil pro
    Ingénieur R&D en apprentissage statistique
    Inscrit en
    Juin 2009
    Messages
    447
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Ingénieur R&D en apprentissage statistique

    Informations forums :
    Inscription : Juin 2009
    Messages : 447
    Points : 752
    Points
    752
    Par défaut
    @Aleph69
    En pratique j'utilise l'interpolation comme méthode "quick and dirty", pour approcher des fonctions qui, quoi qu'ayant de bonnes propriétés (continues, dérivables,...) sont longues à calculer, leur formulation analytique faisant intervenir des sommes de nombreuses autres fonctions... . Devant énormément d'évaluation pour ces fonctinons, j'échantillonne la fonction en quelques points, construit une approximation par interpolation et utilise la fonction approchante à la place pour l'évaluation ce qui accélère beaucoup les temps de calcul.

    C'est pour moi, l'intérêt pratique que je vois dans l'interpolation.

  6. #46
    Membre expérimenté
    Homme Profil pro
    Chercheur
    Inscrit en
    Mars 2010
    Messages
    1 218
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Chercheur

    Informations forums :
    Inscription : Mars 2010
    Messages : 1 218
    Points : 1 685
    Points
    1 685
    Par défaut
    Salut Alexis,

    ce que je voulais dire c'est qu'il doit y avoir une notion d'approximation pour que le problème de l'interpolation ait un intérêt pratique. Dans la formulation que j'ai donnée, les termes des couples (y_i,x_i) ne sont pas mis en relation par une fonction, c'est-à-dire qu'aucune équation du type yi=f(xi) n'intervient dans le problème; on ne cherche pas à approcher une fonction. Je vois bien l'intérêt pratique de ce que tu fais mais ce que tu entends par interpolation, et j'adhère à ton point de vue, semble différer de ce que fr, souviron et fcharton entendent par interpolation, leurs définitions respectives pouvant d'ailleurs différer les unes des autres.

  7. #47
    Expert éminent sénior

    Profil pro
    Inscrit en
    Janvier 2007
    Messages
    10 603
    Détails du profil
    Informations personnelles :
    Âge : 66
    Localisation : France

    Informations forums :
    Inscription : Janvier 2007
    Messages : 10 603
    Points : 17 913
    Points
    17 913
    Billets dans le blog
    2
    Par défaut
    Je ne suis pas mathematicien, mais physicien..

    Que ce soit Jean-Marc, fcharton, ou moi-meme avons les memes notions que ce qui est etabli par les auteurs de livres agrees de maniere generale comme etant des "bibles" du domaine.

    Si nous tous faisons erreur, alors c'est que vous devez avoir le Prix Nobel..


    Dans un Simplex, comme dans une regression, comme avec les derives de Tchebyshev, on part d'un ensemble de points et d'une forme de fonction pour arriver a une fonction relativement precise, decrivant au mieux cet ensemble de points...

    On part de Pts[N] pour arriver a f(x,y,z,....)


    Dans un Spline, comme dans une interpolation lineaire, comme dans du morphisme de figure, on part de A exactement pour arriver a B exactement.

    On part de A pour arriver a B.


    Honnetement, c'est tellement difficile que ca ????


    Un maillage, une triangulation, ou le calcul preparatoire pour un spline ne sont simplement que des divisions de l'espace afin de mieux justement pourvoir interpoler : les noeuds des mailles, des triangulations, ou des splines sont les points servant de base et exclusivement ces points.

    'fin bref, appliquez pour le Prix Nobel...
    "Un homme sage ne croit que la moitié de ce qu’il lit. Plus sage encore, il sait laquelle".

    Consultant indépendant.
    Architecture systèmes complexes. Programmation grosses applications critiques. Ergonomie.
    C, Fortran, XWindow/Motif, Java

    Je ne réponds pas aux MP techniques

  8. #48
    Membre expérimenté
    Homme Profil pro
    Chercheur
    Inscrit en
    Mars 2010
    Messages
    1 218
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Chercheur

    Informations forums :
    Inscription : Mars 2010
    Messages : 1 218
    Points : 1 685
    Points
    1 685
    Par défaut
    Citation Envoyé par souviron34 Voir le message
    Je ne suis pas mathematicien, mais physicien..
    S'il y a quelque chose qui n'est pas clair, je peux le développer.

  9. #49
    Invité
    Invité(e)
    Par défaut
    Citation Envoyé par Aleph69 Voir le message
    soient deux ensembles X et Y non vides et un ensemble fini {(xi,yi); xi dans X, yi dans Y, 1 <=i<=N} pour un entier naturel N strictement positif. Le problème "trouver une fonction g:X->Y telle que yi=g(xi) pour 1<=i<=N," admet pour solution triviale une somme de fonctions de Dirac et ne présente à ma connaissance pas d'intérêt pratique.
    Là, on tombe dans l'escroquerie intellectuelle.

    La réponse montre juste que la formalisation du problème est incorrecte, parce que les "fonctions" forment un espace de dimension infinie, non dénombrable, même, et je me demande même si on ne peut pas invoquer ici l'axiome du choix ou Zermelo Fraenkel... Bref on est à la limite de l'arithmétisation et de la théorie des ensembles.

    Maintenant, l'abus de langage "trouver une fonction qui..." est très courant, et ne gêne habituellement personne. C'est à mon sens une sorte d'"escroquerie formaliste", qui rappelle les ados qui viennent contester les définitions quand on les prend en faute.

    Citation Envoyé par Aleph69 Voir le message
    Notons Y^X l'ensemble des fonctions de X dans Y. Soit U un sous-ensemble de Y^X. Le problème "trouver dans U une fonction g:X->Y telle que yi=g(xi) pour 1<=i<=N" bien que moins trivial que le premier, ne présente, à ma connaissance, pas d'intérêt pratique non plus.
    C'est précisément ce qu'on entend par "trouver une fonction", et cela présente bien sur un intéret pratique. C'est le problème d'interpolation.

    Citation Envoyé par Aleph69 Voir le message
    C'est un point de vue révisionniste du point de vue de l'"Histoire des Sciences" invoquée par certains, car le problème de l'interpolation s'est posé il y a très longtemps en vue d'approcher des fonctions et d'inférer des modèles physiques.
    Effectivement, si on décide que "quand on dit interpolation on veut en fait dire approximation", alors l'interpolation et l'approximation sont la même chose.

    Citation Envoyé par Aleph69 Voir le message
    Je suis toujours curieux de connaître l'intérêt pratique du problème si quelqu'un le perçoit.
    Un exemple d'interpolation linéaire : la règle de trois... C'est sûr qu'on a du mal à en voit l'intérêt pratique.

    Un exemple d'interpolation non linéaire, les courbes de Bézier, les splines, l'anti aliasing... Inutiles en pratique, hein?

    Je pense que si on raisonne d'un point de vue pratique, la question qu'on devrait se poser est "à quoi sert l'approximation?", dans la mesure où ce qu'on cherche, en pratique, ce n'est jamais "une fonction", mais sa valeur en un point.


    Citation Envoyé par Aleph69 Voir le message
    Dans de nombreux cas, on s'aperçoit en fait que les solutions de ce problème possèdent des propriétés d'approximation et le problème de l'interpolation devrait être formulé dans les espace où ces propriétés sont vérifiées.
    On peut utiliser une approximation pour faire une interpolation, mais ca consiste à résoudre un problème plus compliqué que celui qu'on se pose.

    C'est d'ailleurs exactement le point de vue de Vapnik, cité un peu plus haut. Il appelle "transduction", cette interpolation statistique.

    Francois

  10. #50
    Membre expérimenté
    Homme Profil pro
    Chercheur
    Inscrit en
    Mars 2010
    Messages
    1 218
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Chercheur

    Informations forums :
    Inscription : Mars 2010
    Messages : 1 218
    Points : 1 685
    Points
    1 685
    Par défaut
    Citation Envoyé par fcharton Voir le message
    Là, on tombe dans l'escroquerie intellectuelle.
    Merci de ne pas m'insulter.

    Citation Envoyé par fcharton Voir le message
    La réponse montre juste que la formalisation du problème est incorrecte, parce que les "fonctions" forment un espace de dimension infinie, non dénombrable, même, et je me demande même si on ne peut pas invoquer ici l'axiome du choix ou Zermelo Fraenkel... Bref on est à la limite de l'arithmétisation et de la théorie des ensembles.
    Il s'agit simplement d'un cas particulier (U=Y^X) du problème présenté ensuite. J'ai commencé par celui-ci pour montrer l'intérêt d'introduire U. Ni plus, ni moins. Je ne vois pas où est l'escroquerie.


    Citation Envoyé par fcharton Voir le message
    Effectivement, si on décide que "quand on dit interpolation on veut en fait dire approximation", alors l'interpolation et l'approximation sont la même chose.
    Mais, encore une fois, personne n'a jamais prétendu cela.


    Citation Envoyé par fcharton Voir le message
    C'est d'ailleurs exactement le point de vue de Vapnik, cité un peu plus haut. Il appelle "transduction", cette interpolation statistique.
    La transduction est une forme d'inférence au même titre que l'induction, sous la plume de Vapnik comme sous la plume de beaucoup d'autres.

  11. #51
    Membre expérimenté
    Homme Profil pro
    Chercheur
    Inscrit en
    Mars 2010
    Messages
    1 218
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Chercheur

    Informations forums :
    Inscription : Mars 2010
    Messages : 1 218
    Points : 1 685
    Points
    1 685
    Par défaut
    Citation Envoyé par fcharton Voir le message
    Un exemple d'interpolation linéaire : la règle de trois... C'est sûr qu'on a du mal à en voit l'intérêt pratique.
    Pourrais-tu formuler précisément ton problème d'interpolation dans ce cas particulier? Ce n'est pas clair pour moi.

  12. #52
    Invité
    Invité(e)
    Par défaut
    Citation Envoyé par Aleph69 Voir le message
    Pourrais-tu formuler précisément ton problème d'interpolation dans ce cas particulier? Ce n'est pas clair pour moi.
    Tu as deux points (0,0), et (x,y), et tu interpoles la valeur y' en x' d'une droite passant par ces deux points. Alternativement, tu peux considérer que c'est une interpolation sur un point, à partir d'une famille d'équation y=ax.


    Maman va au marché et achète 6 oeufs pour 9 francs (je te la fais à l'ancienne), combien couteraient 5 oeufs.

    x=6, y=9, x'=5 (le calcul de y' est laissé en exercice au lecteur).

    On est bien sur dans une version très simple de l'interpolation, mais note bien que ce cas limite, avec un point d'interpolation à l'origine, ou ayant une valeur fixe, est assez courant (notamment en physique expérimentale sur des problème d'étalonnage).

    Francois

  13. #53
    Rédacteur

    Homme Profil pro
    Comme retraité, des masses
    Inscrit en
    Avril 2007
    Messages
    2 978
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 83
    Localisation : Suisse

    Informations professionnelles :
    Activité : Comme retraité, des masses
    Secteur : Industrie

    Informations forums :
    Inscription : Avril 2007
    Messages : 2 978
    Points : 5 179
    Points
    5 179
    Par défaut
    Bonjour à tous!
    A vous voir vous étriper pour rien (ou presque) depuis quelques jours, j'en viens à me demander si je ne devrais pas essayer de trouver le temps d'écrire un tutoriel intitulé "Interpolation et approximation". Peut-être que ça serait utile, mais ça prend du temps.
    Jean-Marc Blanc
    Calcul numérique de processus industriels
    Formation, conseil, développement

    Point n'est besoin d'espérer pour entreprendre, ni de réussir pour persévérer. (Guillaume le Taiseux)

  14. #54
    Expert éminent sénior

    Profil pro
    Inscrit en
    Janvier 2007
    Messages
    10 603
    Détails du profil
    Informations personnelles :
    Âge : 66
    Localisation : France

    Informations forums :
    Inscription : Janvier 2007
    Messages : 10 603
    Points : 17 913
    Points
    17 913
    Billets dans le blog
    2
    Par défaut
    Citation Envoyé par FR119492 Voir le message
    Bonjour à tous!
    A vous voir vous étriper pour rien (ou presque) depuis quelques jours, j'en viens à me demander si je ne devrais pas essayer de trouver le temps d'écrire un tutoriel intitulé "Interpolation et approximation". Peut-être que ça serait utile, mais ça prend du temps.
    Jean-Marc Blanc
    C'est exactement ce que je pensais te faire comme suggestion (réflexion au cours de mon café ce matin) , carrément dans l'introduction de ton cours...


    @Aleph69 :



    • Une interpolation, par DEFINITION, vise à inventer une valeur dans un vide, entre 2 valeurs connues, à combler une absence...

    • Une approximation, par DEFINITION, vise à représenter des valeurs existantes .... OU BIEN à approcher une VALEUR connaissant une fonction et les autres paramètres de cette fonction en ce point


    Comme je l'ai déjà noté ci-dessus, il n'y a QUE dans ce dernier cas que les concepts de approximation et interpolation se recoupent..

    Si l'on raisonne par l'absurde, cite-moi une interpolation ne passant pas par les points de départ et d'arrivée (meme les courbes de Béziers ou de Hermite passent par les points de controle)
    "Un homme sage ne croit que la moitié de ce qu’il lit. Plus sage encore, il sait laquelle".

    Consultant indépendant.
    Architecture systèmes complexes. Programmation grosses applications critiques. Ergonomie.
    C, Fortran, XWindow/Motif, Java

    Je ne réponds pas aux MP techniques

  15. #55
    Membre éclairé
    Homme Profil pro
    Ingénieur R&D en apprentissage statistique
    Inscrit en
    Juin 2009
    Messages
    447
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Ingénieur R&D en apprentissage statistique

    Informations forums :
    Inscription : Juin 2009
    Messages : 447
    Points : 752
    Points
    752
    Par défaut
    Si l'on raisonne par l'absurde, cite-moi une interpolation ne passant pas par les points de départ et d'arrivée (meme les courbes de Béziers ou de Hermite passent par les points de controle)
    Cela n'a en effet pas de sens, puisque, comme nous le disons, l'interpolation est une approximation qui passe par les points connus et approche la fonction/courbe inconnue partout ailleurs.

    S'il n'y avait pas fonction à approcher, interpoler n'aurait pas de sens. Pour reprendre ce que disait Aleph69, si tu sais que la fonction inconnue est une somme de Dirac, tu n'as aucun intérêt à interpoler. Par contre, si tu sais qu'elle à de bonnes propriétés (continue, dérivable, ...), tu sais qu'en interpolant de manière adaptée, tu ne t'éloigneras pas trop de la fonction d'origine. Quel serait l'intérêt d'"inventer" une valeur entre deux valeurs connues, si tu ne supposes pas que la formule que tu utilises pour trouver cette nouvelle valeur a un sens ?

    Maintenant s'il s'agit de faire de jolis dessins, en effet on s'écarte de la notion d'approximation mais cela n'a pas plus de sens (d'un point de vu pratique) que de fitter les paramètres d'une exponentielle décroissante sur un nuage de points issu d'une loi affine croissante.

    Par ailleurs les courbes de Bezier peuvent être utiliser pour "vectoriser" une courbe tracée manuellement (logo, dessin,...): tu places des points de contrôle sur la courbe et tu règles les paramètre de sorte à ce que la courbe de Bézier reste au plus proche du dessin d'origine. Implicitement, tu minimises un critère de proximité entre la courbe tracée et la courbe de Bézier.

  16. #56
    Invité
    Invité(e)
    Par défaut
    Citation Envoyé par Alexis.M Voir le message
    Cela n'a en effet pas de sens, puisque, comme nous le disons, l'interpolation est une approximation qui passe par les points connus et approche la fonction/courbe inconnue partout ailleurs.
    L'interpolation passe par les points, par définition. La question de savoir si ceux ci sont issus d'une fonction inconnue, dont l'interpolée serait une approximation me parait assez gratuite. On peut décider que oui, ou que non...

    Maintenant, si une telle "fonction mystère" existe, RIEN ne garantit que l'interpolation l'approche d'une façon optimale, ni même correcte, sur un ensemble contenant les données (à moins de restreindre cet ensemble aux données elles mêmes, auquel cas cela devient une tautologie). Partout ailleurs, ça me parait bien présomptueux...

    Citation Envoyé par Alexis.M Voir le message
    Par contre, si tu sais qu'elle à de bonnes propriétés (continue, dérivable, ...), tu sais qu'en interpolant de manière adaptée, tu ne t'éloigneras pas trop de la fonction d'origine.
    Euh?

    Un petit exemple : prends quelques points de données sur un intervalle de R, à valeurs dans [-K,K], issus de la fonction ayant les bonnes propriétés de ton choix.

    Tu peux faire passer par ces points une fonction sinus, f(x)=K sin(ax) (continue, dérivable, dérivées bornées, valeurs dans un compact, rien que de bonnes propriétés), avec un seul degré de liberté, la période du sinus (tu n'as pas besoin de phase si tu interdis l'abscisse 0 à tes données)

    En fait, tu peux interpoler tes points (quel qu'en soit le nombre) par une infinité de fonctions sinus, en augmentant leur fréquence jusqu'à obtenir une sorte de "gribouillage" du segment.

    Ces fonctions sont assez différentes les unes des autres. Es tu bien sur que ces interpolations ne s'éloignent pas trop de la fonction d'origine? Ou peut être doit on disqualifier le sinus comme interpolant...


    Prends maintenant l'exemple inverse: une fonction inconnue y=sin(ax), continue, dérivable, régulière... Prèlèves y quelques points de données provenant de cycles éloignés les uns des autres. En fonction du nombre, tu vas pouvoir y faire passer une belle droite, une parabole bien lisse, ou des splines qui auront fière allure.

    Le résultat sera-t-il voisin de la fonction de départ?

    Citation Envoyé par Alexis.M Voir le message
    Quel serait l'intérêt d'"inventer" une valeur entre deux valeurs connues, si tu ne supposes pas que la formule que tu utilises pour trouver cette nouvelle valeur a un sens ?
    A disposer de cette valeur.

    Quand tu quittes un appartement, et que tu répartis les charges au prorata temporis, la formule n'a aucun sens: les charges ne sont pas linéaires, voire certaines ne sont calculées qu'une fois l'an (impots locaux). On n'approxime pas une fonction inconnue, mais on fait une interpolation.


    Tu considères apparemment que l'interpolation est une forme d'approximation, dans le sens où si on interpole, c'est forcément pour approcher une fonction inconnue.

    Ca me parait erroné pour deux raisons:
    - d'abord parce qu'il y a toutes sortes de cas où le but n'est pas d'approcher une fonction mais d'obtenir une valeur
    - ensuite parce que dans ce contexte, l'interpolation serait à proscrire, parce qu'elle ne garantit rien en terme d'approximation de la fonction sous jacente (si ce n'est l'égalité des valeurs aux points d'interpolation...)

    Francois
    Dernière modification par Invité ; 07/09/2012 à 17h40.

  17. #57
    Membre expérimenté
    Homme Profil pro
    Chercheur
    Inscrit en
    Mars 2010
    Messages
    1 218
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Chercheur

    Informations forums :
    Inscription : Mars 2010
    Messages : 1 218
    Points : 1 685
    Points
    1 685
    Par défaut
    Citation Envoyé par fcharton Voir le message
    Tu as deux points (0,0), et (x,y), et tu interpoles la valeur y' en x' d'une droite passant par ces deux points. Alternativement, tu peux considérer que c'est une interpolation sur un point, à partir d'une famille d'équation y=ax.


    Maman va au marché et achète 6 oeufs pour 9 francs (je te la fais à l'ancienne), combien couteraient 5 oeufs.

    x=6, y=9, x'=5 (le calcul de y' est laissé en exercice au lecteur).

    On est bien sur dans une version très simple de l'interpolation, mais note bien que ce cas limite, avec un point d'interpolation à l'origine, ou ayant une valeur fixe, est assez courant (notamment en physique expérimentale sur des problème d'étalonnage).
    Malheureusement, tu décris là deux problèmes différents et tu ne t'en rends pas compte car tu ne fais pas l'effort de formaliser les choses. Tu donnes un sens à la valeur interpolée en 5 parce que la relation "prix = quantité * prix unitaire" apparaît comme une donnée dans le second problème.

  18. #58
    Membre expérimenté
    Homme Profil pro
    Chercheur
    Inscrit en
    Mars 2010
    Messages
    1 218
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Chercheur

    Informations forums :
    Inscription : Mars 2010
    Messages : 1 218
    Points : 1 685
    Points
    1 685
    Par défaut
    Citation Envoyé par fcharton Voir le message
    L'interpolation se contente de passer par les points, la question de savoir si ceux ci sont issus d'une fonction inconnue, dont l'interpolée serait une approximation me parait assez théorique. On peut décider que oui, ou que non...
    Mais si on décide que non, on ne peut plus donner de sens aux valeurs interpolées et je n'en vois plus l'intérêt.

    Citation Envoyé par fcharton Voir le message
    De plus, si une telle "fonction mystère" existait, RIEN ne garantirait que l'interpolation approche d'une façon optimale, ou même correcte, la fonction sur le segment de données, et encore moins partout ailleurs.
    Et bien justement si, il suffit de connaître l'espace d'appartenance de la fonction mystère pour savoir l'approcher à une précision arbitraire entre les points d'interpolation. Je te renvoie à la théorie des espaces de Sobolev pour un exemple concret, mais en bon statisticien je doute que tu n'es pas croisé une seule fois cette théorie dans ta vie. En dehors des points d'interpolation, cela n'a évidemment pas de sens puisqu'il s'agit d'un autre problème : celui de l'extrapolation.

    Citation Envoyé par fcharton Voir le message
    Tu considères apparemment que l'interpolation est une forme d'approximation, dans le sens où si on interpole, c'est forcément pour approcher une fonction inconnue.

    Ca me parait erroné pour deux raisons:
    - d'abord parce qu'il y a toutes sortes de cas où le but n'est pas d'approcher une fonction mais d'obtenir une valeur
    - ensuite parce que dans ce contexte, l'interpolation serait à proscrire, parce qu'elle ne garantit rien (cf l'exemple des fonctions trigo)
    Premièrement, on attend toujours les cas d'interpolation où on se fiche totalement du sens à donner aux valeurs interpolées. Deuxièmement, l'interpolation n'est en aucun cas à proscrire et on garantit tout ce qu'il faut dès lors qu'on a les mêmes informations sur la fonction à approcher que dans ce que toi tu désignes par approximation.

    A tous, à bientôt sur le forum car je ne souhaite plus participer à cette discussion.

  19. #59
    Invité
    Invité(e)
    Par défaut
    Citation Envoyé par Aleph69 Voir le message
    Malheureusement, tu décris là deux problèmes différents et tu ne t'en rends pas compte car tu ne fais pas l'effort de formaliser les choses.
    Je veux bien une explication précise de cette différence...

    [Edit, ah ben je ne l'aurai pas, et je ne saurai pas non plus ce qui viennent faire ici les espaces de Sobolev, ben tant pis alors (mais j'ai quand même une drôle d'impression, parce que généralement, quand on associe les mots Sobolev et interpolation, on veut dire tout autre chose que ce dont on discute ici...)]

    Francois
    Dernière modification par Invité ; 07/09/2012 à 19h34.

  20. #60
    Membre éclairé
    Homme Profil pro
    Ingénieur R&D en apprentissage statistique
    Inscrit en
    Juin 2009
    Messages
    447
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Ingénieur R&D en apprentissage statistique

    Informations forums :
    Inscription : Juin 2009
    Messages : 447
    Points : 752
    Points
    752
    Par défaut
    "Our understanding of the interpolating polynomial leads us naturally to a study of integration rules, and an understanding of Gaussian integration rules requires knowledge of orthogonal polynomials, which are at the very heart of classical approximation theory."

    G.M. Philips, "Inerpolation and approximation by polynomials."

    Traduction approximative:

    Notre compréhension des polynômes interpolant nous conduit naturellement à une étude des règles d'intégration, et une compréhension des règles d'intégration de Gauss nécessite la connaissance des polynômes orthogonaux, qui sont au cœur même de la théorie classique de l'approximation.

    Dans le même ouvrage dans l'introduction du premier chapitre:

    "Given the values of a function f (x) at two distinct values of x, say x0
    and x1 , we could approximate f by a linear function p that satisfies the
    conditions
    p(x0 ) = f (x0 )
    and
    p(x1 ) = f (x1 ).

    It is geometrically obvious that such a p exists and is unique. We call p a linear interpolating polynomial. We may then evaluate
    p(x) for a value of x other than x0 or x1 and use it as an approximation
    for f (x). This process is called linear interpolation."

    G.M. Philips, "Inerpolation and approximation by polynomials."

    Traduction approximative:

    Étant donné les valeurs d'une fonction f(x) en deux valeurs distinctes de x, disons x0 et x1. On pourrait approximer la fonction f par une fonction linéaire p qui satisfait les conditions:
    p(x0 ) = f (x0 )
    and
    p(x1 ) = f (x1 ).

    Il est géométriquement évident qu'une telle fonction p existe et est unique. On appelle p un polynôme interpolant linéaire. On peut ensuite évaluer p(x) pour une valeur de x différente de x0 et x1 et l'utiliser comme une approximation de f(x). Ce processus est appelé interpolation linéaire.


    [edit]
    Pour une discussion générale sur le lien entre interpolation et approximation il y a également: Interpolation and Approximation de Philip J. Davis
    [/edit]

Discussions similaires

  1. [Débutant] approximer un polynôme à l'aide de la méthode des moindres carrés ?
    Par antoinepc94 dans le forum MATLAB
    Réponses: 3
    Dernier message: 01/04/2015, 08h28
  2. Détermination des paramètres d'une gaussienne au sens des moindres carrés
    Par DJEcalcul dans le forum Algorithmes et structures de données
    Réponses: 4
    Dernier message: 18/03/2015, 16h43
  3. [Débutant] Approximation de donnees experimentales par la methode des moindres carres
    Par German Trainee dans le forum Langages
    Réponses: 0
    Dernier message: 23/09/2014, 14h42
  4. Approximation au sens des moindres carrés
    Par Folkene dans le forum Mathématiques
    Réponses: 7
    Dernier message: 02/09/2009, 21h12
  5. Détermination d'un plan des moindres carrés
    Par bernard6 dans le forum MATLAB
    Réponses: 8
    Dernier message: 05/04/2007, 16h23

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo