Recuperation d'un bout de texte, Webrowser VBA

Version imprimable

02/08/2017, 11h53
AlienFall

1 pièce(s) jointe(s)

Recuperation d'un bout de texte, Webrowser VBA

Bonjour a tous,

Je cherche à récupérer un simple bout de texte sur une page internet accessible seulement depuis les postes de mon entreprise. Sur le papier c'est une page comme une autre mais je ne pourrais évidemment pas vous la partager parce que le lien ne marchera tout simplement pas.

J'ai une liste de client sur Excel et je cherche à automatiser la récupération de leur code activité (ou code NAF), aujourd'hui j'ai créé une solution qui ouvre un Webrowser sur Excel qui rentre le lien, qui fait un Ctrl A + Ctrl C sur la page en question puis un Ctrl V sur Excel, puis j'arrive a récupérer l'info que je veux, seulement pour traiter 250clients (à cause du chargement/affichage de la page) cela prend entre 6 et 10min, soit une éternité.

J'essaye donc depuis se matin de ne plus passer par l'affichage mais de récupérer le code de la page et de réussir a récupérer l'information en question. (Ce qui me permettrait de ne plus avoir à récupérer la page, et serait donc un sacré gain de temps.)

J'ai eu beau suivre http://qwazerty.developpez.com/tutor...a-excel/#LIV-F ce tutoriel très complet, et assez connu sur la question, mais étant une bille en HTML je n'arrive tout simplement à rien. Ou plutôt à rien de pertinent.

Le chemin d'accès complet de ma variable est visible sur l'image jointe :

Pièce jointe 299360

Quelqu'un aurait-il une suggestion?

Merci d'avance
02/08/2017, 14h25
Ben_L

Bonjour,

Je vous conseille de regarder de quelle façon s'utilise l'objet WinHttp.WinHttpRequest.
Il devrait vous permettre d'émettre une requête de type GET qui vous permettra de recevoir le document attendu directement en mémoire.
Il est pour cela nécessaire de gérer correctement l'en-tête de la requête que vous construirez (via la méthode .SetRequestHeader) afin qu'elle soit acceptée par le serveur de votre entreprise.

La méthode .Send permet ensuite d'envoyer la requête et d'attendre la réponse.
Une fois celle-ci obtenue, elle est accessible via les méthodes .ResponseText ou .ResponseBody.

Il vous reste alors à gérer les éventuels problèmes d'encodage et à post-traiter l'information reçue.

Cordialement,
02/08/2017, 14h53
AlienFall

Bonjour !

Merci beaucoup pour votre réponse ! Je vais me renseigner sur l'ensemble des fonctions que vous évoquez, mais à la rigueur pourriez-vous me faire un petit fichier sur un exemple simple? Afin que je puisse me familiariser avec la méthode et adapter le code à mon problème? Parce que je vous avoue que j'ai peur de me perdre dans la suite d'étapes que vous me proposez sans un (tout) petit exemple concret !

Dans tout les cas je vous remercie encore,
Cordialement,

J'ai essayé de modifier mon code original pour récupérer une page html simple mais j'avoue m'être un peu perdu en route...
Je vous propose donc mon code original, qui récupère une image sur internet et la stocke dans un fichier en local.
Il vous restera à adapter pour que cela fonctionne avec un document texte.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
Public Sub Get_HTML()
    Dim whrReq As WinHttp.WinHttpRequest, strUrl As String, FileNum As Long, FileData() As Byte
    Set whrReq = New WinHttp.WinHttpRequest
    strUrl = "https://wxs.ign.fr/otq5u930qae01r7zs7n6fj3y/geoportail/wmts/?service=WMTS&version=1.0.0&request=GetTile&layer=GEOGRAPHICALGRIDSYSTEMS.MAPS&style=normal&tilematrixset=PM&tilematrix=15&tilerow=11323&tilecol=16303&format=image/jpeg"
    With whrReq
        .Open "GET", strUrl, False
        .SetRequestHeader "Host", "wxs.ign.fr"
        .SetRequestHeader "User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:51.0) Gecko/20100101 Firefox/51.0"
        .SetRequestHeader "Accept", "*/*"
        .SetRequestHeader "Accept-Language", "fr,fr-FR;q=0.8,en-US;q=0.5,en;q=0.3"
        .SetRequestHeader "Referer", "https://ignrando.fr/cirkwi-server/xi/sgfc//?idproduit=2723ET&idserie=k25"
        .SetRequestHeader "Connection", "keep-alive"
        .Send
        If .Status = 200 Then
            FileData = .ResponseBody
            FileNum = FreeFile
            Open "C:\Temp\newpicture.jpg" For Binary Access Write As #FileNum
            Put #FileNum, 1, FileData
            Close #FileNum
        End If
    End With
    Set whrReq = Nothing
End Sub

02/08/2017, 15h02
AlienFall

Merci beaucoup ! Je m'y attaque tout de suite !

Citation:
Envoyé par Ben_L
J'ai essayé de modifier mon code original pour récupérer une page html simple mais j'avoue m'être un peu perdu en route...
Je vous propose donc mon code original, qui récupère une image sur internet et la stocke dans un fichier en local.
Il vous restera à adapter pour que cela fonctionne avec un document texte.
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 Public Sub Get_HTML() Dim whrReq As WinHttp.WinHttpRequest, strUrl As String, FileNum As Long, FileData() As Byte Set whrReq = New WinHttp.WinHttpRequest strUrl = "https://wxs.ign.fr/otq5u930qae01r7zs7n6fj3y/geoportail/wmts/?service=WMTS&version=1.0.0&request=GetTile&layer=GEOGRAPHICALGRIDSYSTEMS.MAPS&style=normal&tilematrixset=PM&tilematrix=15&tilerow=11323&tilecol=16303&format=image/jpeg" With whrReq .Open "GET", strUrl, False .SetRequestHeader "Host", "wxs.ign.fr" .SetRequestHeader "User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:51.0) Gecko/20100101 Firefox/51.0" .SetRequestHeader "Accept", "*/*" .SetRequestHeader "Accept-Language", "fr,fr-FR;q=0.8,en-US;q=0.5,en;q=0.3" .SetRequestHeader "Referer", "https://ignrando.fr/cirkwi-server/xi/sgfc//?idproduit=2723ET&idserie=k25" .SetRequestHeader "Connection", "keep-alive" .Send If .Status = 200 Then FileData = .ResponseBody FileNum = FreeFile Open "C:\Temp\newpicture.jpg" For Binary Access Write As #FileNum Put #FileNum, 1, FileData Close #FileNum End If End With Set whrReq = Nothing End Sub
Alors, j'ai eu beau essayer d'utiliser ton code et de le comprendre, je suis un peu perdu, je ne comprends pas bien la fonction .SetRequestHeader, d'un autre coté je n'arrive pas à utiliser le .responseBody, et sur ton exemple il renvoi un tableau de chiffre, que j'ai eu beau regarder, impossible de voir sont utilités,

Bref, tout est encore très flou :calim2:

03/08/2017, 12h46
Ben_L

1 pièce(s) jointe(s)

Ce qui est contenu dans .ResponseBody est de la donnée binaire.
Il est nécessaire de savoir comment la traiter pour lui donner du sens, et cela dépend du type de donnée téléchargée.

Dans l'exemple que j'ai transmis, il s'agit d'une image jpeg. L'écriture en direct de cette donnée binaire dans un fichier fonctionne très bien pour récupérer cette image et y accéder par la suite.
Dans ton cas, il va probablement s'agir d'une page html, c'est-à-dire d'un fichier texte (d'où l'idée de regarder dans .ResponseText, on ne sait jamais).

Pour ce qui est de l'expression de la requête, le plus simple est d'utiliser les outils de développement de ton navigateur.
Dans l'onglet Réseau, il est possible de voir toute les requêtes envoyées par le navigateur, ainsi que les réponses qu'il a obtenues.
Va sur la page qui t'intéresse, ouvre les outils de développement, va sur l'onglet Réseau et actualise la page.
La première requête qui va apparaître est celle qui demande le fichier principal de la page en question.

Voici ce que ça donne lorsqu'on vient sur developpez.net :
Pièce jointe 299927
En (1), on voit la liste des requêtes envoyées par le navigateur,
En (2), on peut voir l'URL d'une requête donnée,
et en (3) le header de cette requête.

Tous les éléments sont donc disponible pour écrire la requête en VBA.
Reste à savoir quoi faire de ce qu'on récupère. Pour la page d'accueil de ce forum, le doc principal est un script js. Mais j'ai visiblement un problème d'encodage... qui n'apparaîtra pas nécessairement pour la page que tu souhaites récupérer.

Je te laisse donc faire quelques essais et obtenir une réponse du serveur.
A partir de là, il faudra comprendre comment donner du sens à cette réponse.
03/08/2017, 16h01
AlienFall

Re bonjour,

Tout d'abord merci pour votre réponse et le temps que vous m'accordez ! J'ai exploré l'outil réseau, et je pense avoir avancé ! J'y suis presque, grâce à l'outil j'ai réussi à isoler un lien qui n'affiche maintenant que les informations que je souhaite, de plus la valeur cherché et directement visible dans le code source avec Ctrl U !!

J'essaye de récupérer le code source, mais je ne tombe jamais sur les bonnes données, j'ai essayé de tout récupérer et de traiter les données moi même avec par exemple :

WebF.Document.DocumentElement.innerHTML

Mais rien n'y fait, je n'arrive pas récupérer le code sources pur et dur.

Avez vous une idée?
03/08/2017, 16h28
Ben_L

L'idée générale, décrite dans ce fil (en anglais), est celle que j'ai présentée précédemment.

Tout le problème est, comme tu le dis fort justement, d'accéder à la source.
Essaie de regarder l'entête de la réponse que tu obtiens via ton navigateur. Dans le cas de la page d'accueil du forum "Macros et VBA Excel", le fichier renvoyé par le serveur est un fichier .gzip.
C'est la raison pour laquelle la méthode .ResponseBody contient un tableau de nombres auquel il n'est pas évident de donner du sens.

J'ai fait le test en stockant la réponse que j'obtiens dans un fichier avec une extension .gzip, puis de décompresser le tout à la main (sous Linux).
Et ça marche très bien. J'obtiens enfin le code de la page d'accueil !
Ton problème est peut-être similaire, ton serveur te renvoyant éventuellement du contenu compressé.

Je n'ai aucune autre piste en tête à te proposer pour l'instant.
Bon courage :D