Discussion :

[charlotte77]

Bonjour,

Je vous contacte car je rencontre à nouveau un problème pour un travail d'extraction de petites annonces sur un site internet. Je cherche à extraire les données des petites annonces dont une partie se présente sous forme de table, le problème est que certaines table ont des informations différentes et mon programme ne fonctionne pas.

Voila le script pour obtenir mes données :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
docu<-sprintf("http://www.leboncoin.fr/_maison_/offres/ile_de_france/?o=%s",1:8)
 
links <- sapply(docu, function(x)
{ xpathSApply (htmlParse(x),
               "//div[contains(@class,'list-lbc')]/a",
               xmlGetAttr,name = "href")
})
 
listli<-as.vector(links)
 
length(listli)

Voila mon code pour extraire mes tables qui va me poser problème par la suite , car j'ai du suite à vos conseil utiliser la fonction grep pour filtrer les valeurs manquante lorsque certaines informations n'étaient pas renseignées:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
v<-NA
MyTable <- data.frame()
for (i in 1:length(listli)) {
  v[i] <- readHTMLTable(listli[i], head=2)
  val <- as.character(v[[i]]$V2)
  # Transformation du prix commençant par un chiffre et se terminant par €
  prix <- grep('^[0-9].*[^a-zA-Z0-9]$', val, perl=T)
  if (length(prix)!=0) { MyTable[i,1] <- val[prix] } else  {MyTable[i,1] <- NA } 
  # Transformation d'une ville, c'est tout ce qui commence par des lettres et ne contenant pas de chiffres
  # on suppose que les noms des villes depassent au moins 4 carateres
  vil <- grep('^[a-zA-Z].{4,1000}$', val, perl=T)
  if (length(vil)!=0) { MyTable[i,2] <- val[vil] } else  {MyTable[i,2] <- NA } 
  # Transformation du code postal: c'est exactement 5 chiffre, sans le signe € et sans lettre alphabetiques
  cp <- grep('^[0-9]{5}$', val, perl=T) 
  if (length(cp)!=0) { MyTable[i,4] <- val[cp] } else  {MyTable[i,4] <- NA }  
}
 
names(MyTable) <- c("prix", "ville","Code Postal")

Mon problème vient du fait que certaines annonces son sous la forme :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
 
Prix  : 10€
Ville  : Melun
Code Postal : 77170

Et d'autres notamment les vêtements ajoutent des informations notamment le type et la taille :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
Prix  : 10€
Ville  : Melun
Code Postal : 77170
Type : Femme
Taille : 38

En fait je souhaiterais ne récupérer que les 3 1ères lignes de ces différents tableaux avec seulement le prix la ville et le code postal..Sachant que parfois, le prix ou le code postal ou la ville ne sont pas non plus renseigné..

Quelqu'un aurait une idée de comment filtrer ces données ? Est ce que selon vous je suis obligée de récuperer quand même ces données en rajoutant des variables ? Mais je ne saurais pas comment différencier par exemple le type ( homme femme enfant ) de la ville, avec la fonction Grep..

Je vous remercie par avance

[mamounMob]

La fonction 'xpathSApply' fait quoi ?

De plus peut-être ne devrais tu pas utiliser la fonction 'nchar' plutôt que 'length' qui renvoie toujours '1' lorsque qu'on lui envoie une variable ?

Enfin pour les expressions régulières voici un lien : http://ciam.inra.fr/r4ciam/node/148
par exemple tu peux remplacer [0-9] par [[:digit:]], ce qui est plus lisible.

[totow]

Salut Chacha !!

Moi je serai toi je continuerai à utiliser la fonction xpathSApply avec un chemin xpath. Par contre, pense bien à enlever les "/tbody" de m**** dans les chemin xpath.
Tu les mets chacun dans une liste, que tu concatène à la fin.

Ça donne :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
library(XML)
 
A=NULL
B=NULL
C=NULL
 
for(i in 1:length(listli)) {
try(A[i]<-xpathSApply(htmlParse(listli[i]),"/html/body/div[2]/div/div/div[3]/div/div/div[3]/div[3]/table/tr/td/span",xmlValue,encoding="UTF-8"), silent=TRUE)
try(B[i]<-xpathSApply(htmlParse(listli[i]),"/html/body/div[2]/div/div/div[3]/div/div/div[3]/div[3]/table/tr[2]/td",xmlValue,encoding="UTF-8"), silent=TRUE) 
try(C[i]<-xpathSApply(htmlParse(listli[i]),"/html/body/div[2]/div/div/div[3]/div/div/div[3]/div[3]/table/tr[3]/td",xmlValue,encoding="UTF-8"), silent=TRUE)
 
D=cbind(A,B,C) }
 
************Résultat**************
 
D
       A         B                          C      
  [1,] "50*€"    "Sainte-Colombe"           "77650"
  [2,] "290*€"   "Etréchy"                  "91580"
  [3,] "9*€"     "Boulogne-Billancourt"     "92100"
  [4,] "3*€"     "Rambouillet"              "78120"
  [5,] "6*€"     "Neuilly-sur-Marne"        "93330"
  [6,] "20*€"    "Maurepas"                 "78310"
  [7,] "2*€"     "Gennevilliers"            "92230"
  [8,] "8*€"     "Elancourt"                "78990"
  [9,] "1*€"     "Rambouillet"              "78120"

Un joli petit tableau à 3 colonnes.

Ah oui ! et la fonction try( te permet de renvoyer une valeur "NA" si il ne trouve pas de données. Sympa non ?

Allez la bise Lucette

[charlotte77]

Merci beaucoup ! Avec XpathApply et la fonction try ça fonctionne parfaitement !

Bonne journée !