Extraction de données de pages web

Version imprimable

Voir 40 message(s) de cette discussion en une page

01/04/2016, 20h27
patricktoulon

re

Bon
je vais essayer d'etre plus clair
pour savoir si c'est un html ou php ou ce que tu veux
ouvre internet explorer sur Google ou ce que tu veux
tape F12
clique sur resau( ie11)
clique sur le triangle vert il deviens carré rouge (il est en enregistrement )
maintenant colle l'adresse dans la barre en haut (barre de navigation) dans IE
reviens sur f12 et clique sur détail
prend la première adresse(requete1) que vois tu????????????

maintenant tu t'étonne pourquoi avec la .html on a un code en bon et du forme et avec les autre non!!!

tout simplement parce que ne sont pas des fichier html a l'inverse de la base

conclusion y a rien a comprendre on parle de 2 type de fichier différents

l'un qui le fichier html de base l'autre qui est un fichier créé par une application type javascript qui nous sort un charabia que l'on est obliger de parser
comme le fait la fonction load blablabla ).attr (lien du fichier )
il n'y a rien de plus simple

c'est un peu le même principe que le src dans frame frame.document .innerhtml=fichierblablabla.truc chouette

sauf que la on ajoute dans un endroit précis du innerhtml du document de base ,le code bizarre transformé en html en l'occurrence juste après la table (0)

je ne vois vraiment ce qui t'échappe
01/04/2016, 20h31
patricktoulon

Re

bon marc t' en es ou avec tes splits :mouarf::mouarf:
01/04/2016, 20h37
cerede2000

Ah cette fois c'est clair comme de l'eau de roche :mouarf:
Merci de prendre le temps :zoubi:

Donc je récapitule ce que j'ai compris, quand on arrive sur la page bidule.html c'est du html classique, mais quand on clic sur en voir plus c'est uniquement du JS qui traite le truc !
En fait ce qui me perturbe c'est que tout le bordel est généré en JS sans code serveur genre PHP ou ASP.....
Ce qui est dingue quand même c'est que le voir plus est un lien qui pointe vers une adresse mais qui en fait ne recharge pas la page mais appel du JS....
Je fais pourtant pas mal d'AJAX avec JQuery je n'ai jamais rencontré un truc qui fonctionnais comme ça :aie:
01/04/2016, 20h45
patricktoulon

re

c'est très courant aujourd'hui dans le web

on appelle plus les fonctions sur un onclick="mafonction(balbal,blabla,balabla)" mais avec un HREF

le Href est composer de l'adresse de la fonction + le chemin du fichier (en argument) comme dans les parenthèses du onclick

le onclick reste quand même mais je pense qu'il sera a même de disparaitre a l'allure ou ca va avec le HTML5

décomposition
$('a.load-more-contributors').attr('href', '/fr/projects/bigdream/contributors?page=7');

'a.load-more-contributors' //// attribution de la fonction au bouton en l'occurrence ici une balise "a"

attr ///////// on pourrait penser que cela a la meme signification que addeventlistener

'href', '/fr/projects/bigdream/contributors?page=7' ///// ici il y a 2 argument Href fait reference ala declaration globale en haut de document certainement dans le head

le 2 Emme argument est asses explicite en lui même c'est le lien du fichier contenant le charabia
01/04/2016, 21h01
cerede2000

Je ne suis pas d'accord avec ta décomposition de JQuery...
$('a.load-more-contributors').attr('href', '/fr/projects/bigdream/contributors?page=7');

$('a.load-more-contributors') => Selecteur qui prend toutes les balises a dont la class css est : load-more-contributors
.attr => Permet de récupérer/modifier les attributs d'une balise et donc en l'occurence ici href qui est bien le lien de la balise a en définissant l'url à /fr/projects/bigdream/contributors?page=7

Il n'est justement absolument pas question ici de onclick ou de fonction...
Et c'est bien ça qui me perturbe énormément.....
Car je manipule beaucoup ça mais de manière classique sans soucis, mais pour moi une balise a avec un href renvoi forcément vers une page en rechargeant.
Alors que la il y a interception et annulation de la fonction classique d'une balise a avec href :)

Edit : En regardant de plus près ce fameux a de voir plus je vois deux attribut non standard data-remote et rel aprioris framework Javascript On Rail ;)
D'ailleurs j'ai tester en rajoutant moi même un nouveau a pour test avec href="www.google.com" et je n'ai pas été redirigé vers google mais cela à été passé en paramètre dans l'URL :mrgreen:
01/04/2016, 21h12
patricktoulon

re

oui bon ben le jquery moi ......
et si tu a raison je ne pense pas qu'il y est interception pas dans le sens ou tu le crois
peut être que c'est le fichier lui même qui est loader qui transforme la base c'est possible aussi ca
et si le Href représente le "this" en l'occurrence le a c'est cohérent la fonction fait (ajouter blablabla avant this)
et c'est tout
mais bon la syntaxe de jquery est encore obscure pour moi

c'est d'ailleurs fort probable puisque l'on retrouve cette fonction dans les fichier bizare en début et fin

début avec l'index page actuelle ( page loadée)

en fin avec l'index de page suivante

il est même fort possible que le bouton entre le load et l'affichage soit supprimé et reconstruit

c'est cohérent
01/04/2016, 21h20
cerede2000

Je connais très bien JQuery.....
Ce qui est marrant du coup c'est que tu te pose beaucoup moins de questions que moi sur des choses que tu ne maîtrises pas forcement.
Alors que moi ce truc mer perturbe au plus haut point alors que je connais très bien le fonctionnement des pages dynamique avec JS et notemment JQuery et que ce truc ma parait totalement obscure :ptdr::ptdr::ptdr::ptdr::ptdr:

Enfin maintenant c'est déjà nettement plus clair !

Et je ne sait pas à quoi tu pense quand tu parle de href et de this...
Mais href n'est que la page vers laquelle pointe le lien...
01/04/2016, 21h28
patricktoulon

re

non c'est pas obscure pour moi c'est abstrait ce n'est pas ce qui m'intéresse dans la manipulation vba/web
pour moi je sais que cela fait ceci alors voila

surtout que le jquery est plein de bug dans un webbrowser non compatible alors je compose avec javascript c'est d'ailleur le point clé de ma contribution sur le wisiwig

bon maintenant que tu peux tout récupérer tu va me faire un beau tableau non? car moi la mécanique étant résolu presque le résultat m'ennuie

et dans tout ca on a perdu leclerctch :ptdr::ptdr: hoh!... la pauvre quand il va venir voir son post il s'est arrêté a la première page je crois :mouarf::mouarf::mur:
01/04/2016, 21h33
cerede2000

JQuery est le plus compatible qui existe.....
La V1 était même compatible IE6 et +

J'ai eu ma période 100% JS mais franchement aujourd'hui c'est une perte de temps quand tu fait des choses complexes et que tu veux qu'elles fonctionnent partout !

Oui il me reste surtout à récupérer la responseText et à réussir a la traiter via du DOM :mouarf:

+1000 pour @leclerctch il va être perdu le pauvre :ptdr::ptdr::ptdr::ptdr::ptdr::ptdr::ptdr:
01/04/2016, 21h44
patricktoulon

re

oui mais dans un webborwser (je parle de l'ocx) c'est capout ainsi que le htmlfile d'ailleurs

je te le pofine et tu n'aura plus qu' a DOMer
01/04/2016, 21h47
cerede2000

Cool j'ai hâte :) :) :) :)

Tiens en passante jette un œil la dessus ça pourrait t’intéresser :mouarf:

tiens regarde comment je retranscrit toute les tables dans le sheets sans calculer quoi que se soit ni de variable tableaux je pense que ca va t'intérésser
yavais longtemps que je l'avais pas sorti celle la
seule ces lignes $ foutent le bordel je ne veux pas spliter je veux le faire en replace intelligents
ca te donne un appercu quand meme de la puissance du htmlfile

tu trouvera dans mes discutions vba/web tres souvent cette astuce et meme comment on style des cellule dans le htmlfile et les mettre sur le sheets (meme couleur,font ,etc...)

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
Sub test2()
    Do
        Dim Req, url As String, memodoc
        url = "http://www.kisskissbankbank.com/fr/projects/bigdream/contributors?page=" & i
        Set Req = CreateObject("microsoft.xmlhttp")
        Set memodoc = CreateObject("htmlfile")
        With Req
            .Open "get", url, False
            .SetRequestHeader "Accept", "*/*;q=0.5, text/javascript, application/javascript, application/ecmascript, application/x-ecmascript"
              .send
            texte = .responsetext
        End With
        With memodoc
            .write texte
            'Debug.Print .body.innertext
            code = .body.innertext
            code = Replace(code, "<\/a><\/td>\n\n", vbCrLf & "<TR><TD> ")
            code = Replace(code, "<\/a>\n" & vbCrLf, "</TD><TD>")
            code = Replace(code, "\n", "")
            code = Replace(code, "<\/div><\/td>", "</TD><TD>")
            code = Replace(code, "<\/span>", "")
            code = Replace(code, "<\/td>", "")
            code = Replace(code, "<\/td>", "</TD><TD>")
            code = Replace(code, "<\/div>" & vbCrLf, "</TD><TD>")
            code = Replace(code, "<\/TR>" & vbCrLf, "</TD></TR>")
            code = Replace(code, "<\/tr>" & vbCrLf, "</TD></TR>")
            code = Replace(code, code, "<TABLE>" & vbCrLf & code & vbCrLf & "</TABLE>")
            code = Replace(code, "<\/table>')", vbCrLf)
            'on rajoute la colonne lieu pour ce qui ne l'ont pas
            'code = Replace(code, "* ", "* *")
            codehtml = codehtml & code & vbCrLf & code
        End With
        i = i + 1
    Loop Until InStr(texte, "remove") > 0
    memodoc.body.innerhtml = codehtml
 
'mon astuce favorite 
If memodoc.parentWindow.clipboardData.setData("Text", memodoc.body.innerhtml) Then
        Application.ScreenUpdating = False
        With Sheets(1)
            .Activate
            .Cells(1, 1).CurrentRegion.ClearContents
 
            .Cells(1, 1).Select
            .Paste
        End With
    End If
    End Sub

01/04/2016, 22h08
cerede2000

Great !!!
Par contre ya normalement 448 donnateurs et la sheet contient 1016 lignes remplis :aie:
Alors même avec les ligne $()... ça fait quand même plus de 2x plus de lignes.

PS : Pfffff MS pouvait pas intégrer les regex direct dans VBA plutôt que de devoir encore ajouter une ref ou un createObject.....
01/04/2016, 22h56
patricktoulon

re

je pofine
pour le moment je fait des slides sur les chaines pour ajouter les colonnes manquante
je reprendrais demain en fin d'après midi la je suis claqué de ca
fait moi plaisir lis le choix des contreparti

pour 10 € on a droit a un poème great!!!!!! content moi ;):ptdr: pure y a des gens qui y croient dur comme fer je suis mort de rire
01/04/2016, 23h43
cerede2000

Vivement que tu post le code j'ai trop hâte :):):)
Tu veux un poème ? Je t'en fais un gratos si tu veux :ptdr::ptdr::ptdr::ptdr:

Tiens l'élève bosse :mouarf:

Split de Split : Chrüterchraft !

Citation:

Envoyé par patricktoulon

bon marc t' en es ou avec tes splits :mouarf::mouarf:

Une p'tite version à la romaine, enfin du temps de la Grandeur et de la Splendeur de Rome !

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
Sub DemoReq1()
    With CreateObject("MSXML2.XMLHttp")
        Do
             P% = P% + 1
            .Open "GET", "http://www.kisskissbankbank.com/fr/projects/les-succulentes/contributors?page=" & P, False
            .setRequestHeader "Accept", "*/*;q=0.5, text/javascript, application/javascript, application/ecmascript, application/x-ecmascript"
            .setRequestHeader "DNT", "1"
             On Error Resume Next
            .send
             On Error GoTo 0
            If .Status = 200 Then
                   SPQ = Split(.responseText, "class=\""username\"">")
                For R% = 1 To UBound(SPQ)
                    T$ = T$ & Split(SPQ(R), "<")(0)
                    SP = Split(SPQ(R), "class=\'amount\'>")
                    If UBound(SP) > 0 Then T = T & vbTab & Split(SP(1))(0)
                    T = T & vbLf
                Next
                    If UBound(Split(SPQ(R - 1), ".remove()")) Then Exit Do
            Else
                Exit Do
            End If
        Loop
    End With
    If T > "" Then
        Debug.Print T
             Application.ScreenUpdating = False
                                    SPQ = Split(T, vbLf)
        With Cells(2).Resize(UBound(SPQ))
            .CurrentRegion.Clear
            .Value = Application.Transpose(SPQ)
            .TextToColumns
            .Columns(1).Replace "&#x27;", "'"
            .Columns(1).AutoFit
        End With
            Application.ScreenUpdating = True
    End If
End Sub

Pas de souci avec BigDream …

Patrick, nous avions chacun raison car nous n'étions pas sur la même longueur d'onde, la même époque devrais-je dire !

02/04/2016, 08h26
cerede2000

Ouaou Marc-L !
Super version ultra-rapide avec BigDream :):)

Bien vu pour Rome.... :ptdr::ptdr::ptdr::ptdr:

Code:

SPQ(R)

Et pour la sortie quand il n'y a plus de page !!

Code:

If UBound(Split(SPQ(R - 1), ".remove()")) Then Exit Do

Par contre le html du site est un peu naze par moment... Pourquoi class=\"username\" avec " et class=\'amount\' avec ' :mrgreen:
02/04/2016, 09h18
patricktoulon

re

Bonjour marc

jolie !!

split de split :ptdr::ptdr: le bon vieux temps hein!!!!

oui mais on a toujours que les deux colonne nom et amount moi je cherche a prendre les autres et a ajouter celle qui n'en ont pas pour que ca soit conforme sur le sheets
02/04/2016, 09h24
cerede2000

Et moi je veux ma version DOMable :calim2::calim2::calim2:

Citation:

Envoyé par cerede2000

Bien vu pour Rome.... :ptdr::ptdr::ptdr::ptdr:

Code:

SPQ(R)

:plusser: Enfin quelqu'un trouvant la pépite de mon code ! :lun:

Citation:

Envoyé par patricktoulon

oui mais on a toujours que les deux colonne nom et amount moi je cherche a prendre les autres et a ajouter celle qui n'en ont pas pour que ca soit conforme sur le sheets

Citation:

Envoyé par patricktoulon

mais moi je veux j'essayais d'avoir les noms en col1 dates en col2 le fric en col3

Bon Patrick, via l'outil d'inspection d'un navigateur, en regardant ce que renvoie la requête à partir d'une page n°2
et non avec ta méthode antédiluvienne datant de bien avant le grand César, vers le Néolithique, ;)
pour extraire la date il faut juste un chrüterchraft direct combiné à un Replace et à un CDate (ligne de code n°18) :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
Sub DemoReq2()
                Dim VA(1 To 99999, 1 To 3), L&, P%, R%, SP, SPQ
                Cells(2).CurrentRegion.Clear
    With CreateObject("MSXML2.XMLHttp")
        Do
             P% = P% + 1
            .Open "GET", "http://www.kisskissbankbank.com/fr/projects/les-succulentes/contributors?page=" & P, False
            .setRequestHeader "Accept", "*/*;q=0.5, text/javascript, application/javascript, application/ecmascript, application/x-ecmascript"
            .setRequestHeader "DNT", "1"
             On Error Resume Next
            .send
             On Error GoTo 0
            If .Status = 200 Then
                   SPQ = Split(.responseText, "class=\""username\"">")
                 For R = 1 To UBound(SPQ)
                           L = L + 1
                    VA(L, 1) = Split(SPQ(R), "<")(0)
                    VA(L, 2) = CDate(Replace(Split(Split(SPQ(R), "class=\'date-reward\'>")(1), "<")(0), "\n", ""))
                          SP = Split(SPQ(R), "class=\'amount\'>")
                    If UBound(SP) Then VA(L, 3) = Split(SP(1))(0)
                 Next
                    If UBound(Split(SPQ(R - 1), ".remove()")) Then Exit Do
            Else
                Exit Do
            End If
        Loop
    End With
    If L Then
        With [B1:D1].Resize(L)
            .Value = VA
            .Columns(1).Replace "&#x27;", "'"
            .Columns(1).AutoFit
        End With
    End If
End Sub

______________________________________________________________________________________________________
L’important, le principal, est de savoir ce qu’il faut observer. (Edgar Allan Poe)

Voir 40 message(s) de cette discussion en une page