Extraction de données de pages web

Version imprimable

Voir 40 message(s) de cette discussion en une page

01/04/2016, 11h20
cerede2000

@Marc-L : Je suis parti sur l'idée de @Patricktoulon qui est de boucler tant qu'il y à le voir plus qui est présent et ensuite d'aller récupérer les données des tables
Ca fonctionne nickel aussi !

Concernant :

Code:

.Document.getElementsByClassName("bankers")(0).InnerText

Satané IE avec son non respect des standards DOM et JS......
En tous cas je pense qu'il est plus propre d'aller chercher le nombre de donateurs dans la partie droite où se trouvent toutes les infos que dans l'onglet :)
01/04/2016, 11h28
Marc-L

J'ai hésité pour le nombre de contributeurs puis en cherchant un ID, c'est plus court via l'onglet …

Le demandeur a le choix maintenant ! En attendant de ses nouvelles …
01/04/2016, 12h12
patricktoulon

re

de toute façon il y a un détail qui est gênant
en effet les tr n'on pas le même nombre de TD sur tous
il y en a sans la colonne des sous donnés
d'autre sont des très gros contributeurs donc ont une colonne en plus superposé par du CSS mais quand même

j'ai donc essayé par le split innertext du tr complet par les saut de ligne sa marche si ils ont tous les nom date et sous et pas pour les gros contributeurs puisque que l'on ajoute un enfant dans le TD

je pense qu'il va falloir mètres des conditions sur l'existence de l'élément dans chaque tr

je précise e que j'ai testé sur bigdream
01/04/2016, 12h17
Marc-L

J'ai déjà testé la page BigDream sans souci avec ma Demo3 avant de la publier (post #14) …
01/04/2016, 12h38
patricktoulon

re

en fait
non il y a des contributeurs ou il n'y a pas les sous mais le nombre de projets au quel ils participe a la place

exemple du résultat dans le debug
les chiffre qui suive les tiret a droite correspondent au nombre d'enfants du tr

il est donc impossible marc qu'en utilisant le même index avec children(X) que tu es un résultat correct par tout ca c'est sur
on est bien obligé de faire les test si l'on veut récupérer les éléments dans les bonne colonne sur le sheets
a moins de ne pas respecter le type de données dans le tableau final au quel oui si tu veux
chez moi de temps en temps j'ai "X projets soutenus" a la place de l'oseille soit par ce qu'il y en a pas, soit l'oseille c'est le children suivant
la preuve dans le debug

Citation:

**********************
ChrisDeniaud
17 mars 2016 ---3
**********************
AEF
17 mars 2016
100 €---4
**********************
timiaou
17 mars 2016
5 projets soutenus ---3
**********************
VERLISON
17 mars 2016
50 €---4
**********************
Evolusens - jl&mumu
17 mars 2016
1 000 €---4
**********************
dufduf
17 mars 2016
1 000 €---4
**********************
kaudeguy
17 mars 2016
30 €---4
**********************
aukje
17 mars 2016 ---3
**********************
Annik17
17 mars 2016
2 projets soutenus 500 €---4
**********************
LeelooLeeloo
17 mars 2016
2 projets soutenus 50 €---4
**********************
Jcvdorp
17 mars 2016
30 €---4
**********************
janelwl
17 mars 2016 ---3
**********************
A'zur
17 mars 2016
100 €---4
**********************
Chantalbw
17 mars 2016
300 €---4
**********************
Sandra.Le Guyader
17 mars 2016
50 €---4
**********************
Flopresson
17 mars 2016
2 projets soutenus 50 €---4
**********************
Cees.Van Der Put
17 mars 2016
40 €---4
**********************
Jean-François.Jagodzinski
17 mars 2016
50 €---4
**********************
Gayano.Shaw
17 mars 2016
20 €---4
**********************
Tara75019
17 mars 2016 ---3
**********************
leadufour
17 mars 2016
40 €---4
**********************
deborahmaarek
17 mars 2016
30 €---4
**********************
natkarp
17 mars 2016
2 projets soutenus 20 €---4
**********************
Valerie.Ravat
17 mars 2016 ---3
**********************
Coline.Tissot
17 mars 2016
50 €---4
**********************
awakegiraffe
17 mars 2016
30 €---4
**********************
Kirsten Kristensen
17 mars 2016
150 €---4
**********************
Cariatis
Montreal, Canada
17 mars 2016
3 projets soutenus 50 €---4
**********************
Malika Elkord
16 mars 2016
5 projets soutenus ---3
**********************
Michelle G.
16 mars 2016
1 300 €---4
**********************
Vic92
16 mars 2016
2 projets soutenus 500 €---4
**********************
sophiahuleux
16 mars 2016
100 €---4
**********************
sylviane65
16 mars 2016
2 projets soutenus 100 €---4
**********************
pmmaim
16 mars 2016 ---3
**********************
AOKE
16 mars 2016
100 €---4
**********************
maryse lavillaureix
16 mars 2016
300 €---4
**********************
mariesouris4
16 mars 2016
2 projets soutenus 30 €---4
**********************
fkeller69
16 mars 2016
300 €---4
**********************
Karuna1
16 mars 2016
2 projets soutenus 200 €---4
**********************
Bigdream
16 mars 2016
100 €---4
**********************
jdams
16 mars 2016
3 projets soutenus 50 €---4
**********************
yoeva.jemelgo
16 mars 2016
3 projets soutenus 10 €---4
**********************
Big Dream
16 mars 2016 ---3
**********************
sne
16 mars 2016
15 €---4
**********************
Centauresse
16 mars 2016
16 projets soutenus ---3
**********************
April.Qoi
16 mars 2016
30 €---4
**********************
Ali.Abdul-2
16 mars 2016
20 €---4
**********************
Eliane Regis
16 mars 2016
4 projets soutenus 1 000 €---4
**********************
jungnesh
16 mars 2016
3 projets soutenus 30 €---4
**********************
Caroline
Issy-les-Moulineaux, France
16 mars 2016
3 projets soutenus ---3
**********************
01/04/2016, 12h45
Marc-L

Citation:

Envoyé par patricktoulon

chez moi de temps en temps j'ai "X projets soutenus" a la place de l'oseille soit par ce qu'il y en a pas,
soit l'oseille c'est le children suivant

Avec ma Demo3 ?! De mon côté aucun souci, tout correspond bien aux données du site …

j'ai pas tout regardé ton exemple mais alors si c'est bon tu fait un test quelque part ca ne peut pas être le même index du children pour tous tout du moins le sous enfant(index)

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
'http://www.kisskissbankbank.com/fr/projects/bigdream/contributors
Sub test()
    Dim IE As Object, url As String, mestr As Object, i As Long
    url = "http://www.kisskissbankbank.com/fr/projects/bigdream/contributors"
    Set IE = CreateObject("internetexplorer.application")
    IE.Visible = True
    IE.navigate url
    Do: DoEvents: Loop While IE.readystate <> 4 Or IE.busy
    With IE.document
        'nbtable = .getelementsbytagname("table").Length    'on capture le nombre d'element de type "table"
        nbpage = Int(.getelementsbyclassname("tabs four")(0).Children(3).getelementsbytagname("span")(0).innertext / 50)  ' on calcule le nombre de page
        Set mybutton = .getelementsbyclassname("load-more-contributors")(0)    'on capture le bouton
        'allez c'est parti
        Do
            mybutton.Click    ' on click sur le bouton
            nb = nb + 1
            Do: DoEvents: Loop Until .getelementsbytagname("table").Length = nb + 1  'on attend que le nombre de table augmente de 1
        Loop Until nb > nbpage - 1    'on continu jusqu'à arriver au nombre de page correspondant au nombre de contributeur /50
        ' Maintenant que l'on a toute les tables sur la page web on récupère tout les éléments de type "TR"
        Set mestr = .getelementsbytagname("TR")
        ReDim tablo(mestr.Length, 3)
 
        For i = 0 To mestr.Length - 1
            indexfric = mestr(i).Children.Length - 1' c'est ici que l'on a un soucis  car des fois le fric yen a pas ou est dans le sous enfant suivant 
            Debug.Print mestr(i).innertext & "---" & mestr(i).Children.Length & vbCrLf & "**********************"
            tablo(i, 0) = mestr(i).Children(1).innertext    'on integre le nom dans la 1 ere colonne
            tablo(i, 1) = mesdate(i).innertext     ' on integre la date dans la 2 eme colonne
            tablo(i, 2) = mestr(i).Children(indexfric).innertext     ' on integre les sousous dans la 3 eme colonne
        Next
    End With
    IE.Quit
    Sheets(1).Cells(1, 1).Resize(UBound(tablo), 3) = tablo
End Sub

puré je viens de tester
ave IE9 version portable ok
IE 10 version portable c'est pire
avec ses deux versions portables j'utilise mon getobject (shell) pour capturer le document car n'est pas instancié avec la librairie IE installées

il y a donc une construction différente selon les versions de IE et je parle pas du CSS je parle bien de l'architecture de l'arborescence des éléments

purée on est pas sorti de l'auberge

01/04/2016, 13h07
cerede2000
@Patricktoulon : Pas mal simplifié :)
Juste un problème.... Imagine c'est le début du projets donc - de 50 donations...
Ton code plante car le link voir plus n'existe pas......

Et en effet le code Demo3 (et le mien qui en est totalement inspiré) de @Marc-L traite le cas ou il n'y a pas de fric :
Code:

1 2 VA(L, 1) = .Item(1).Children(0).innertext If .Length > 3 Then VA(L, 2) = Val(.Item(3).innertext)
Edit : On peut pas instancier un objet chrome avec une DLL ça serais plus simple :mouarf:
01/04/2016, 13h12
Marc-L

Patrick,

comme d'hab selon le couple IE / Windows, rappelles-toi une ancienne discussion en passant par la classe de l'élément,
Sous IE9 + Seven c'était OK mais pas sous IE10 & Seven alors qu'avec IE10 & Windows 8 c'était OK …
J'ai installé IE11 sur Seven et après des tests, je suis vite revenu à IE9 !

Tu peux tester ma Demo3 telle quelle et me dire si c'est bon ou pas de ton côté …

Et vive les requêtes !
01/04/2016, 14h52
patricktoulon

re

re
ok marc je vais tester ta demo3
et j'ai pensé aussi au requêtes
01/04/2016, 14h54
cerede2000

Requêtes ?
01/04/2016, 15h07
Marc-L

Comme piloter IE est la solution la moins efficace à réserver en dernier recours,
il vaut mieux tenter de reproduire les requêtes http utilisées par la page,
non seulement c'est plus fiable mais surtout bien plus rapide !

Patrick,
j'ai jeté un œil hier (je m'attendais à ce que tu en utilises une directement !) :
la première requête est very easy mais connais-tu le format de la réponse à partir de la page n°2 ?
Pour éviter un parser maison en mémoire à l'ancienne à coup de Split pour moi
ou d'expressions rationnelles pour toi (ou quand j'ai le temps et pas mal à la tête !) …

bon ok pour ta demo

mais moi je veux j'essayais d'avoir les noms en col1 dates en col2 le fric en col3

et efectivement tu teste bien l' index children

Code:

If .Length > 3 Then VA(L, 2) = Val(.Item(3).innerText)

mais pour les 3 données c'est plus compliqué il faut d'autres test

@cerede2000 oui les requêtes pourquoi ca te parle pas ??? set Req=createobject("Microsoft.xmlhtttp")

tiens regarde et teste en changeant l'index de page dans l'url
un bon travail de vbscript.regular et voila
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 Sub test() Dim Req, url As String url = "http://www.kisskissbankbank.com/fr/projects/bigdream/contributors?page=1" Set Req = CreateObject("microsoft.xmlhttp") With Req .Open "get", url, False .SetRequestHeader "Accept", "*/*;q=0.5, text/javascript, application/javascript, application/ecmascript, application/x-ecmascript" '.SetRequestHeader "X-CSRF-Token", "1ylb833pf7KY9XRb7tNmlnslRsfKlEKPmRI2y/uGVv4=" .SetRequestHeader "X-Requested-With", "XMLHttpRequest" .SetRequestHeader "Referer", "http://www.kisskissbankbank.com/fr/projects/bigdream/contributors" .SetRequestHeader "Accept-Language", "fr-FR" .SetRequestHeader "Accept-Encoding", "gzip, deflate" .SetRequestHeader "User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko" .SetRequestHeader "Host", "www.kisskissbankbank.com" .SetRequestHeader "DNT", "1" .SetRequestHeader "Connection", "Keep - Alive" .SetRequestHeader "Cache-Control", "no-cache" .send End With With CreateObject("htmlfile") .write Req.responsetext Debug.Print .body.innertext End With End Sub

01/04/2016, 15h29
Marc-L

Merci Patrick !

Bon apparemment la réponse de la requête à partir de la page 2 via un navigateur sert à insérer la nouvelle table,
je ne sais si c'est gérable en amont avec un ExecScript …

Sinon c'est facilement réalisable avec un parser texte maison ! Là je n'ai pas le temps, peut-être en fin de journée …
01/04/2016, 15h33
patricktoulon

re
@Marc
oh!... le parseur ne sera pas très compliqué
il suffit de split le texte par "<\/a><\/td>\n\n" et chaque split contient un contributeur et toute ses données

et pour gérer le nombre de page c'st encore plus simple
teste avec un nombre trop grand
voila ce que tu obtiens

Citation:

$('#project-contributors a.load-more-contributors').before('\n<\/table>\n'); $('a.load-more-contributors').attr('href', '/fr/projects/bigdream/contributors?page=21'); $('a.load-more-contributors').remove();

on test ce qui est en gras et voila le tour est joué
01/04/2016, 15h37
Marc-L

La requête en direct sur la page 2 renvoie les données de la page 1 : là c'est plus compliqué !

Je me souviens maintenant pourquoi hier je suis resté sur IE … :lun:
01/04/2016, 15h37
cerede2000

Ah oui !

Mais du coup bye bye DOM et JS :aie:

tiens regarde Marc

re
voila coment je boucle sur toute les pages simplement

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
Sub test()
   Dim Req, url As String,I as long 
     Do
     i = i + 1
    url = "http://www.kisskissbankbank.com/fr/projects/bigdream/contributors?page=" & i
    Set Req = CreateObject("microsoft.xmlhttp")
    With Req
        .Open "get", url, False
        .SetRequestHeader "Accept", "*/*;q=0.5, text/javascript, application/javascript, application/ecmascript, application/x-ecmascript"
        '.SetRequestHeader "X-CSRF-Token", "1ylb833pf7KY9XRb7tNmlnslRsfKlEKPmRI2y/uGVv4="
        '.SetRequestHeader "X-Requested-With", "XMLHttpRequest"
        '.SetRequestHeader "Referer", "http://www.kisskissbankbank.com/fr/projects/bigdream/contributors"
        '.SetRequestHeader "Accept-Language", "fr-FR"
        '.SetRequestHeader "Accept-Encoding", "gzip, deflate"
        '.SetRequestHeader "User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko"
        '.SetRequestHeader "Host", "www.kisskissbankbank.com"
        '.SetRequestHeader "DNT", "1"
        '.SetRequestHeader "Connection", "Keep - Alive"
        '.SetRequestHeader "Cache-Control", "no-cache"
        .send
   texte = .responsetext
     End With
    With CreateObject("htmlfile")
        .write texte
        Debug.Print .body.innertext
    End With
Loop Until InStr(texte, "remove") > 0
End Sub

bien plus rapide que IE quand même !!!

01/04/2016, 15h56
cerede2000

Et la récup des données après ?
Faut tout parser à la mimine ??????

puré celui la il faut tout lui faire hein!....:ptdr:

regarde dans le debug regarde bien !!! même plus que bien
regarde quand on fait des replace intelligents dans le bon ordre
il me manque plus que modifier certain truc pour l'ajout des colonne manquantes
nom, lieu , date , projet soutenus , fric
debloque l'argumentation loop until pour toute les pages et supprime i=1 sur cette meme ligne
regarde bien hein.....

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
Sub test()
    Do
 
    Dim Req, url As String
    url = "http://www.kisskissbankbank.com/fr/projects/bigdream/contributors?page=" & i
    Set Req = CreateObject("microsoft.xmlhttp")
    With Req
        .Open "get", url, False
        .SetRequestHeader "Accept", "*/*;q=0.5, text/javascript, application/javascript, application/ecmascript, application/x-ecmascript"
        '.SetRequestHeader "X-CSRF-Token", "1ylb833pf7KY9XRb7tNmlnslRsfKlEKPmRI2y/uGVv4="
        '.SetRequestHeader "X-Requested-With", "XMLHttpRequest"
        '.SetRequestHeader "Referer", "http://www.kisskissbankbank.com/fr/projects/bigdream/contributors"
        '.SetRequestHeader "Accept-Language", "fr-FR"
        '.SetRequestHeader "Accept-Encoding", "gzip, deflate"
        '.SetRequestHeader "User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko"
        '.SetRequestHeader "Host", "www.kisskissbankbank.com"
        '.SetRequestHeader "DNT", "1"
        '.SetRequestHeader "Connection", "Keep - Alive"
        '.SetRequestHeader "Cache-Control", "no-cache"
        .send
   texte = .responsetext
     End With
    With CreateObject("htmlfile")
        .write texte
        'Debug.Print .body.innertext
        code = .body.innertext
 
 
       code = Replace(code, "<\/a><\/td>\n\n", vbCrLf & "|")
    code = Replace(code, "<\/a>\n" & vbCrLf, "*")
    code = Replace(code, "\n", "")
    code = Replace(code, "<\/div><\/td>", "*")
    code = Replace(code, "<\/span>", "")
    code = Replace(code, "<\/td><\/tr>", "")
    code = Replace(code, "<\/td>", "*")
    code = Replace(code, "<\/div>" & vbCrLf, "*")
      code = Replace(code, "<\/table>')", vbCrLf)
      'on rajoute la colonne lieu pour ce qui ne l'ont pas
      'code = Replace(code, "* ", "* *")
      Debug.Print code
    End With
i = i + 1
Loop Until i = 1 'InStr(texte, "remove") > 0
End Sub

tu vois sans tes mimines :mouarf:

toute les lignes qui commencent par "|" sont bonnes

Voir 40 message(s) de cette discussion en une page