Discussion :

[arthy]

Bonjour
Je souhaite déterminer les coefficients A1,A2, ...,Ap qui prédisent le mieux la variable Y par la régression( Yi=A1X1,i+....+ApXp,n 1<=i<=n). Seulement il y a des contraintes sur ces paramètres
- la non négativité Ai>=0, i=1,..p
-A1+A2+...+Ap=1

Après avoir ecrit mon algorithme, j'obtiens des résultats erronnés (en désaccord avec la contrainte de la non négativité) pour ces paramètres.

Que puis-je faire?

Merci

P.S. J'utilise la seconde contrainte en substituant une des variables, ce qui fait qu'en réalitén je cherche à obtenir uniquement les paramètres A1,...,Ap-1

[souviron34]

un moindre carres generalise ??

[corentin59]

tu cherches à faire une minimisation sous contrainte du carré de l'erreur : tournes-toi vers les multiplicateurs de Lagrange, c'est fait pour ça !

[arthy]

Bonjour,

Juste pour préciser mon problème.

Je voudrai faire de la régression linéaire multiple.

Je souhaiterai déterminer avec la meilleure précision les coefficeients les valeurs de la variable Y à partir des variables explicatives X1, X2, ...,Xp.

Ceci revient à déterminer les paramètres A0,A1,...,Ap tels que
Yi=A0+A1X1+...+ApXp.

Dans ce contexte général, j'arrive à résoudre mon problème.

Les particularités à prendre en compte sont les suivantes:
A0=0
Ai>=0, i=1,...,p
A1+...+Ap=1

Je ne parviens pas à intégrere ces contraintes correctement dans mon algorithme.

C'est quoi les multiplicateurs de lagrange?

Merci

[ToTo13]

Bonjour,

en classification, il y a en général un très grand nombre de lignes à prendre en compte et on minimise la somme des erreurs.
Pour résoudre se problème, on se tourne alors vers une méthode du simplex.

[pseudocode]

C'est quoi les multiplicateurs de lagrange?

C'est une méthode pour maximiser une fonction f(x) soumise à des contrainte de la forme g(x)=constante. Ca ne me semble pas evident de modeliser la contrainte "Ai>=0" avec les multiplicateurs de Lagrange.

en classification, il y a en général un très grand nombre de lignes à prendre en compte et on minimise la somme des erreurs.
Pour résoudre se problème, on se tourne alors vers une méthode du simplex.

la fonction objectif ne sera pas linéaire si on veut une erreur chi-carré. Il faudra envisager un simplex "généralisé". Ca risque d'être long s'il y a beaucoup de points.

Comme Souviron, je pencherai plutot pour un moindre carrés NNLS (NNLS=Non-Negative Least-Squares).

[arthy]

Merci pour vos différents réponses.

Je vais de ce pas jeter un coup d'oeil sur l'algorithme NNLS

Je ne pense pas que ce ce problème puisse être résolu par la méthode du simplexe car je ne suis pas parvenu à formuler mon problème sous la forme d'une maximisation ou d'une minimisation d'une fonction coût.

En réalité, j'ai n obesevations ie Xi=(Xi,1,...Xi,n) i=1,..,p et Y=(Y1, ...,Yn)
Une erreur s'est glissé dans mon précédent message. Au lieu de

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
Yi=A0+A1X1+...+ApXp.

Il faudrait plutôt considérer

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
Yj=A0+A1X1,j+...+ApXp,j   j=1,..,n

[corentin59]

C'est une méthode pour maximiser une fonction f(x) soumise à des contrainte de la forme g(x)=constante. Ca ne me semble pas evident de modeliser la contrainte "Ai>=0" avec les multiplicateurs de Lagrange.

Si, avec les conditions de Karush-Kuhn-Tucker. Voir la théorie de base des SVM : le problème à résoudre ressemble beaucoup au problème d'optimisation posé par les SVM.