Discussion :

[charlotte77]

Bonjour,

Je sollicite votre aide pour un problème de double boucle sur R, je ne sais pas trop comment m'en sortir..

Je suis sur un projet de recherche et je dois extraire des données d'un site internet de petites annonces. Les petites annonces sont réparties de la façon suivante : dans chaque page, il y a 35 petites annonces. Je souhaite récupérer les 35 liens vers les petites annonces plus détaillées, et ce, sur plusieurs pages, par exemple sur 5 pages.

Tout d'abord, je récupère les liens des 5 pages avec la fonction sprintf :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

docu<-sprintf("http://www.leboncoin.fr/_loisirs_/offres/ile_de_france/?f=a&th=%s",1:5)

Ensuite, je souhaite récupérer les 35 liens, quand je le fais pour une page ça fonctionne, voici le code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
lien<-xpathSApply (htmlParse(docu[1]),
                   "//div[contains(@class,'list-lbc')]/a",
                   xmlGetAttr,name = "href")

Mais lorsque je souhaite le faire pour les 5 pages en même temps, je ne sais pas trop comment m'y prendre, j'ai essayé une double boucle FOR, mais elle ne fonctionne pas, je ne sais pas trop comment la remplir de telle sorte que mon objet 'test" comporte les 175 liens que je souhaite récupérer...

Voici le code que j'ai essayé :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
test<-NA
for (i in 1:5){ 
  for (j in 1:35){
test[i,j]<-xpathSApply (htmlParse(docu[i]),
                   "//div[contains(@class,'list-lbc')]/a",
                   xmlGetAttr,name = "href")
                             } }

Mais R me renvoie l'erreur suivante :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
Erreur dans test[i, j] <- xpathSApply(htmlParse(docu[i]), "//div[contains(@class,'list-lbc')]/a",  : 
  nombre d'indices incorrect sur la matrice

Si quelqu'un a une idée, je vous remercie d'avance.

[arm3366]

Bonjour,
Quand tu teste le code suivant

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
docu <-sprintf("http://www.leboncoin.fr/_loisirs_/offres/ile_de_france/?f=a&th=%s",1:5)
xpathSApply (htmlParse(docu[1]),"//div[contains(@class,'list-lbc')]/a", xmlGetAttr,name = "href")
xpathSApply (htmlParse(docu[2]),"//div[contains(@class,'list-lbc')]/a", xmlGetAttr,name = "href")
xpathSApply (htmlParse(docu[3]),"//div[contains(@class,'list-lbc')]/a", xmlGetAttr,name = "href")
xpathSApply (htmlParse(docu[4]),"//div[contains(@class,'list-lbc')]/a", xmlGetAttr,name = "href")
xpathSApply (htmlParse(docu[5]),"//div[contains(@class,'list-lbc')]/a", xmlGetAttr,name = "href")

Tu auras des vecteurs dont les nombres d’éléments sont différents (35, 20, NULL, NULL, NULL).
La fonction

xpathSApply

retourne un vecteur. Donc, vu que tes vecteurs n'ont pas les memes longueurs, tu n'auras pas d'autres alternatives que de passer par des listes.
Essaye plutot ça, pour voir:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
Mylist <- list()
for (i in 1:5){
  Mylist[[i]] <-xpathSApply (htmlParse(docu[i]),"//div[contains(@class,'list-lbc')]/a", xmlGetAttr,name = "href")}

Une façon de faire est peut être d'utiliser les fonctions de récurrence (apply, sapply, ...), pour avoir quelque chose du genre ...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
links <- sapply(docu, function(x){xpathSApply (htmlParse(x),"//div[contains(@class,'list-lbc')]/a", xmlGetAttr,name = "href")
})

A corriger et à adapter bien sûr !!!

BC

[charlotte77]

C'est génial ça fonctionne!
Merci beaucoup! je ne connaissais pas ces fonctions de récurrence!