Leave-one-out et cv.glm

Bonjour,

Je souhaiterais faire une validation croisée avec la méthode leave-one-out mais plutot que la somme des erreurs au carré, je voudrais afficher le coefficient de détermination r2. J'ai un prédictant et des prédicteurs, je construit une fonction qui calcule le r2, je calcule mon modèle avec glm et je fais la cross validation avec cv.glm (les deux dernières fonctions sont du package boot):

Code:

---

1 2 3 4

cost<-function(x,y) (cor(x,y))^2 yields.reg<-glm(Predictant~., data = datayields, family=gaussian) yields.loo<-cv.glm(datayields,yields.reg,cost) print(yields.loo)

---

Tout fonctionne à part que l'estimation delta en sortie de cv.glm est égale à NA alors que cela marche si je prends la fonction cost par défaut.

Merci d'avance si quelqu'un a déjà utilisé ces fonctions et peut m'aider.

Bonjour et bienvenue,

Le problème semble venir du fait que tu ne spécifies pas le paramètre K (nombre de groupes) et qu'il est du coup fixé par défaut au nombre d'observations.
Tu te trouves donc avec des estimations de corrélation avec une valeur en x et une en y... ce qui n'a pas de sens :

Code:

---

1 2	> cor(x=0.2, y=0.5) [1] NA

---

Citation:

---

Envoyé par pitipoisson

Bonjour et bienvenue,

Le problème semble venir du fait que tu ne spécifies pas le paramètre K (nombre de groupes) et qu'il est du coup fixé par défaut au nombre d'observations.
Tu te trouves donc avec des estimations de corrélation avec une valeur en x et une en y... ce qui n'a pas de sens :

Code:

---

1 2	> cor(x=0.2, y=0.5) [1] NA

---

---

Merci pour ta réponse :)

En fait, quand tu ne spécifies pas K, K = n (nombre d'observations). Il crée donc un modèle en prenant toutes les observations sauf une, et il évalue la prédiction pour l'observation qui n'a pas été prise en compte. J'étais persuadé qu'il faisait cela autant de fois que tu as d'observation. Si c'est le cas on se retrouve avec un vecteur de n valeurs prédites à comparer aux obs donc pas de raison que le r2 ne fonctionne pas.

Tu dois surement avoir raison mais c'est ce qui est décrit ci-dessus que je voulais faire. Je peux le coder mais est-ce qu'il n'y a pas déjà une fonction pour cela ?

Citation:

---

Envoyé par esteban98

En fait, quand tu ne spécifies pas K, K = n (nombre d'observations). Il crée donc un modèle en prenant toutes les observations sauf une, et il évalue la prédiction pour l'observation qui n'a pas été prise en compte. J'étais persuadé qu'il faisait cela autant de fois que tu as d'observation. Si c'est le cas on se retrouve avec un vecteur de n valeurs prédites à comparer aux obs donc pas de raison que le r2 ne fonctionne pas.

---

En fait, K est bien le nombre de groupes créés. Si tu as 10 observations et K=3, il va te calculer la fonction de coût pour un groupe de 2 obs, et deux groupes de 4 obs (je ne sais pas pourquoi il ne fait pas 2x3+4). Si K=10 on a donc 10 groupes de 1 obs.

Pour faire ce que tu décris ci-dessus, je ne sais vraiment pas comment s'y prendre.

En tout cas, pour vérifier ce qui se fait réellement dans la fonction, tu peux utiliser les possibilités de débogage de R :

Code:

---

1 2 3 4 5

cost<-function(x,y) { browser() return(cor(x,y)^2) }

---

Puis dans la console, lorsque tu rencontres le prompt

Code:

---

Browse[1]>

---

tu peux

• lancer une commande... par exemple
  Code:

  ---

  Browse[1]> x

  ---

  pour voir la valeur de x dans l'itération courante.
• appuyer sur <Entrée> pour passer à l'itération suivante.
• taper Q (+ <Entrée>) pour quitter le mode débogage.

Citation:

---

Envoyé par pitipoisson

En tout cas, pour vérifier ce qui se fait réellement dans la fonction, tu peux utiliser les possibilités de débogage de R :

Code:

---

1 2 3 4 5

cost<-function(x,y) { browser() return(cor(x,y)^2) }

---

Puis dans la console, lorsque tu rencontres le prompt

Code:

---

Browse[1]>

---

tu peux

• lancer une commande... par exemple
  Code:

  ---

  Browse[1]> x

  ---

  pour voir la valeur de x dans l'itération courante.
• appuyer sur <Entrée> pour passer à l'itération suivante.
• taper Q (+ <Entrée>) pour quitter le mode débogage.

---

Super merci beaucoup :) Comme tu as du le comprendre, je débute en R ;) Habitué de matlab, le fait que R n'affiche aucune erreur ou warning quand une commande ne fonctionne pas est assez déroutant. Je ne connaissais pas ce mode debogage. Merci encore.

Et pour cloturer le sujet, voici la petite fonction que j'ai écrite pour faire ce que je voulais (voir plus haut).

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

CvLOO <- function(Predictant,Predictor) { nbobs<-length(Predictant) Predictor<-as.matrix(Predictor) Pred<-NULL for (i in 1:nbobs) { indicesloo<-1:nbobs mm <- which(i != indicesloo,arr.ind = FALSE) PredictantCur<- Predictant[mm] # uniquement les données sans l'obs sur laquelle PredictorCur<-Predictor[mm,] # on veut faire le test datacur<-data.frame(Predictant=PredictantCur,Predictor=PredictorCur) yields.regcur<-glm(Predictant~., data = datacur, family=gaussian) # on construit le modèle sur ce sous-ensemble yields.pred<-predict(yields.regcur,newdata = data.frame(Predictant=Predictant,Predictor=Predictor)) # on évalue sur toutes les obs Pred[i]<-yields.pred[i] # on récupère la valeur prédite sur l'obs non utilisée pour construire le modèle } return(Pred) }

---

Citation:

---

Envoyé par esteban98

Habitué de matlab, le fait que R n'affiche aucune erreur ou warning quand une commande ne fonctionne pas est assez déroutant.

---

Il y a une gestion des erreurs et des warnings sous R. Mais il est de la responsabilité de chaque développeur de package (c'est aussi valable pour le développeur de "solution maison", ceci dit) d'implémenter les tests adéquats.

Les développeurs du package boot n'ont visiblement pas jugé utile de mettre un warning ici... ou n'y ont juste pas pensé.