VBA Scraping WEB

Version imprimable

VBA Scraping WEB

Bonjour à tous !

besoin d'un coup de main je ne comprend pas pourquoi tout se decale j'aimerai les Dots en face des bonnes villes :D
merci a vous :)

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
 
Public Sub GetContents()
 
    Dim XMLReq As New MSXML2.XMLHTTP60
    Dim HTMLDoc As New MSHTML.HTMLDocument
 
    XMLReq.Open "Get", "https://brocabrac.fr/14/", False
    XMLReq.send
 
    HTMLDoc.body.innerHTML = XMLReq.responseText
 
    Dim SubSectList As Object, SubSect As Object
 
    Set SubSectList = HTMLDoc.getElementsByClassName("ev-section")
 
    Dim cit As Object
    Dim dots As Object
    Dim day As Object
    Dim addr As Object
 
 
    r = 1
 
 
    For Each SubSect In SubSectList
 
        For Each cit In SubSect.getElementsByClassName("city")
 
            ActiveSheet.Cells(r + 1, 1) = cit.innerText & " : " & cit.NextSibling.NextSibling.innerText
 
 
            r = r + 1
 
        Next
 
          For Each day In SubSect.getElementsByClassName("day")
 
            ActiveSheet.Cells(r, 2) = day.innerText & " : " & day.NextSibling.NextSibling.innerText
 
 
            r = r + 1
 
 
        Next
 
         For Each dots In SubSect.getElementsByClassName("dots")
 
            ActiveSheet.Cells(r, 4) = dots.innerText & " : " & dots.NextSibling.NextSibling.innerText
 
            r = r + 1
 
 
        Next
 
 
 
 
    Next
 
 
 
End Sub

21/08/2024, 16h13
patmeziere

1 pièce(s) jointe(s)

re

Bonjour
en fait tu es loin du compte
la page est affublé de script qui modifie le html en fonction de la version de l'explorateur
de plus la fonction getelementsbyclassname d'aussi loin que je me souvienne est capricieuse selon les page web et déclenche parfois une erreurS
de plus du récupère le code par une requete et envoie le html dans le body du htmldocument en mémoire
ce qui a pour conséquence que les scripts ne s’exécutent pas

et pour finir la première chose que tu dois faire avant de te lancer dans un projet DE GRABBING WEB
c'est d'aller lire la règlementation notamment la CGU
Pièce jointe 658441
21/08/2024, 17h36
pigny

"L’extraction à des fins privées est autorisée, dans le respect des dispositions législatives et réglementaires en matière de droits d’auteurs et de droits voisins sur les œuvres ou les éléments incorporés dans la base."

du coup ou est la limite ?

Citation:

Envoyé par patmeziere

Bonjour
en fait tu es loin du compte
la page est affublé de script qui modifie le html en fonction de la version de l'explorateur
de plus la fonction getelementsbyclassname d'aussi loin que je me souvienne est capricieuse selon les page web et déclenche parfois une erreurS
de plus du récupère le code par une requete et envoie le html dans le body du htmldocument en mémoire
ce qui a pour conséquence que les scripts ne s’exécutent pas

et pour finir la première chose que tu dois faire avant de te lancer dans un projet DE GRABBING WEB
c'est d'aller lire la règlementation notamment la CGU
Pièce jointe 658441
22/08/2024, 01h19
patmeziere

Bonsoir
la limite???
ben c'est simple a partir du moment ou quelqu'un te donne sur le forum une solution ce n'est plus privé puisqu’à la vue de tous
on est donc en pleine infraction qui est diffusion de contenu ou parti de contenu de droit d'auteur et de propriété intellectuelle
22/08/2024, 01h52
jurassic pork

Hello,
comme l'indique patmeziere, le html que tu récupères possède des scripts javascript et donc ce qui est affiché par un navigateur ne correspond pas au source html. Pour avoir le code html affiché il faut piloter un navigateur comme par exemple avec CDP (voir ici). Mais le souci c'est que ton site n'aime pas les bloqueurs de publicité et il faut donc activer les pubs pour ce site. Cela fait que dans le code HTML il y a des morceaux pour la pub qui compliquent sacrément la récolte des infos automatiquement car ces codes se trouvent parmi les infos à récolter. En plus c'est le genre de pubs qui m'énervent sacrément car ça te lance des vidéos etc... et ça te ralentit le chargement de la page. Sur Developpez les pubs au moins sont discrètes, si tout le monde pouvait faire comme ça !
Ami calmant, J.P
22/08/2024, 01h58
patmeziere

1 pièce(s) jointe(s)

re

Bonsoir jurassic pork

non perso j'ai réussi a chopper les données en moins d'une minute
le problème c'est que le site annonce clairement explicitement ses conditions d'utilisation
Pièce jointe 658455
22/08/2024, 02h07
jurassic pork

hello, patmeziere

Citation:

Envoyé par patmeziere

Bonsoir jurassic pork
non perso j'ai réussi a chopper les données en moins d'une minute

Avec le source HTML ?
22/08/2024, 02h17
patmeziere

re

re
oui avec le code réceptionné par la requête (le responseText)
c'est même très simple
notre ami s'y est mal pris c'est tout

1 en early binding l'object htmldocument fonctionne comme IE9
perso je l'utilise en latebinding ce qui me permet de passe a ie10 et presque 11

2 que la fonction getelementsbyclassname déjà capricieuse à l’époque dans vba et IE plante totalement
il faut donc une fonction qui permette de faire la même chose (collectionner les éléments de classe ("xxx")

3 il c'est attaquer au bon élément au depart puis trifouille avec le nexsibbling(erreur car chaque bloc malgré leur ressemblence n'ont pas la même structure et arborescence html)

4 perso je m'attaque au bon élément du premier coup
22/08/2024, 02h23
jurassic pork

OK,
moralité , :mouarf: sur ce site les scripts ne générent pas les données mais plutôt la pub et cela va beaucoup plus vite à récupérer le source HTML que d'afficher la page dans un navigateur.
22/08/2024, 02h33
patmeziere

re

re
ben des fois c'est des pubs des fois c'est l'alimentation des blocs

mais attention la plus part des site aujourd'hui maitrise de a à z les requêtes
si elle ne sont pas lancé par le host au bout de x requêtes tu es rejeté pour entre 1 heure et 48 heure
il est donc nécessaire de faire un petit coup de F12 de mettre en enregistrement et de rafraichir la page
pour avoir un setrequestheader complet en supprimant les cookies bien sur

chez moi c'est instantané moins de 1 seconde en tout cas