Discussion :

[sfiliste]

Bonjour à tous,

J'ai un problème du type régression non linéaire avec une particularité supplémentaire : je ne dispose pas de la variable exogène (y) pour toutes les données mais pour des groupes de données. Je m'explique:

Mon modèle est du type: y_i = somme sur j (f(X_ij, paramètres))

Pour le moment je calcule la somme du carré des résidus

S = somme sur i { y_i - somme sur j (f(X_ij, paramètres)) }²

Pour le moment, je résous cela sans subtilité avec une fonction d'optimisation (recuit simulé, ou une recherche locale + multistart) mais je me demande s'il n'y a pas mieux...

Qu'en pensez vous?

Merci.

[Nemerle]

réseau neuronal?

[sfiliste]

Non, non... Calibrage d'un modèle économétrique

[Nemerle]

je proposai un réseau neuronal comme modèle de régression non linéaire.

[Aleph69]

Bonjour,

J'ai un problème du type régression non linéaire avec une particularité supplémentaire : je ne dispose pas de la variable exogène (y) pour toutes les données mais pour des groupes de données.

Si j'ai bien compris, tu te trouves typiquement dans un problème d'apprentissage semi-supervisé (en l'occurence une régression semi-supervisée).
Tu devrais jeter un oeil de ce côté-là.

[sfiliste]

Bonjour,

Pourrais-je en savoir un peu plus sur ces deux notions?

Pour bien préciser mon problème:

- J'ai des variables prédictives X1, ... Xp (p variables explicatives) qui sont des vecteurs de n observations chacune

Si j'avais pour chacune de ces observations la valeur Y, je ferais un modèle "classique" de regression non linéaire avec Y = f(X1, ... , Xp ; paramètres) où le but est d'estimer ces paramètres.

Ici je n'ai que les valeurs Y pour des groupes (disjoints) de ces observations.

----------------
Exemple (fictif!).

Supposons que je cherche à expliquer le salaire d'un individu à partir de son expérience (en mois) et de sa durée d'études (en mois)

On aurait par exemple les données suivantes:

N° observation//Expérience//Durée_etudes
1 11 39
2 286 15
3 100 12
4 109 48
5 337 9
6 334 43
7 16 26
8 76 5
9 82 17
10 188 42
11 76 60
12 330 4
13 398 9
14 351 49
15 196 18

Et supposons que j'ai les salaires suivants (uniquement pour des groupes):

1+2+3 72421
4+5 39134
6 50056
7+8 97253
9+10+11+12 162467
13+14+15 84504

On cherche à calibrer un modèle non linéaire (volontairement complexe) du type salaire = K * expérience^alpha + durée_études^beta

Merci.

[Nebulix]

Je ne vois pas où est le problème. Tu as 6 observations pour lesquelles tu peux écrire une fonction des 3 inconnues alpha et beta et K. Comparer 39134 à
K * (expérience[4]^alpha + durée_études[4]^beta + expérience[5]^alpha + durée_études[5]^beta) etc.
C'est un pb de régression élémentaire.

[Aleph69]

Bonjour,

j'avais mal compris ton problème.
Il est beaucoup plus compliqué que prévu.
Es-tu sûr de ne pas pouvoir avoir d'autres données?
En bricolant, tu pourras faire un modèle mais peu précis.
Et dans ce cas, tu devras faire des hypothèses simplificatrices (tu es dans un problème de valeurs manquantes).

En première approche naïve, tu peux partir du principe que le salaire moyen dans chaque groupe est le salaire de l'individu "barycentre".

1+2+3 72421 => salaire moyen = 72421 / 3
individu moyen => vecteur des moyennes des variables explicatives des individus 1, 2 et 3.

Ensuite, tu fais une régression avec les individus moyens de chaque groupe.
Puis, tu prédis les salaires de tes individus de départ.

Si après test, tes résultats te conviennent, on pourra améliorer un tout petit peu l'algorithme en ajoutant des pondérations.

Ceci dit, je ne vois pas comment tu vas pouvoir valider ton modèle...

[Aleph69]

Je ne vois pas où est le problème. Tu as 6 observations pour lesquelles tu peux écrire une fonction des 3 inconnues alpha et beta et K.

Non, justement, il n'a pas les 6 individus (il manque les variables explicatives).

[sfiliste]

Bonjour,

Mon problème est en effet assez complexe!

Pour la validation du modèle, il n'y a pas de problème : je calcule les indicateurs classiques (R² ; plage des coefficients par bootstrap ; etc.)

A vrai dire, pour l'estimation, je n'en avais pas jusqu'à maintenant car j'estimais les paramètres de mon modèle en minimisant la somme du carré des écarts, et via un optimiser type recuit simulé.

Mais j'ai beaucoup plus de données maintenant (environ 5000 Y et 50000X, X étant de dimension environ 10) et la fonction d'optimisation met des jours à tourner...

[Nebulix]

Non, justement, il n'a pas les 6 individus (il manque les variables explicatives).

Par habitude, j'appelle observations les données que l'on veut comparer à un modèle : les 6 nombres du 2e paragraphe.
Pour chacune de ces observations, il peut calculer une valeur théorique avec trois paramètres. Le pb est un problème de moindres carrés parfaitement banal.
(Jouer un peu sur les pondérations ne devrait pas changer grand chose)

Je ne sais pas ce qu'est une "variable explicative". Ici çà ne fait qu'obscurcir inutilement un problème tout simple.