Récupération de texte dans le code source d'une page internet

**nullos** · 10/09/2017, 11h28

Bonjour,

Présentation : je suis juriste et je bidouille quelques macros excel pour m'amuser le WE sans avoir aucune base vba requise (donc je galère pas mal)

Je cherche au moyen d'une macro excel à récupérer diverses informations comprises dans une page web et à les ordonner dans une feuille de classeur.

J'ai lu et essayer de comprendre l'article sur la manipulation d'IE par VBA https://www.developpez.net/forums/d1...lorer-via-vba/ et http://qwazerty.developpez.com/tutor...-et-vba-excel/

J'ai parcouru d'autres discussions dont
https://www.developpez.net/forums/d1...ls-d-page-web/

et surtout https://www.developpez.net/forums/d1...cles-internet/

Je n'ai pas retenu la méthode de l'article car il faut activer des librairies et je sais que l'utilisateur final ne saura pas comment procéder.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
Sub DemoIE()
 Dim yNum As Byte
Dim zNum As Byte
  Const URL$ = "https://www.xxxxxx"
 
    With CreateObject("InternetExplorer.Application")
        .navigate URL
        While .Busy Or .readyState < 4:  DoEvents:  Wend
 
 
        With .document.all.TABLE2
            T$ = .all(0).innerText
        End With
 
        .Quit
    MsgBox T, vbInformation, "          Résultat"
 
      End With
 
 
 
End Sub

J'ai 4 difficultés principales (rien que ça).

1°) les informations que je cherche à reprendre sont comprises dans 4 tables numérotées de 2 à 5. je pourrai évidemment copier le code 3 fois en modifiant le nom de la table (TABLE2, TABLE3, TABLE4, TABLE5) mais je voudrai boucler mais je ne parviens pas trouver la bonne syntaxe With .document.all.TABLE <-(variableYNum)

2°) la je récupère dans ma variable l'ensemble des éléments de la table mais au sein de chacune des tables je souhaiterai davantage récupérer séparément dans chacune des lignes un texte suivant toujours le même texte.
par exemple, je voudrais récupérer ce qui suit "Nom :" , "Prénom :", "Age :"
la structure de la table est

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
<tr><td>Nom :</td><td> xxxx</td></tr>
<tr><td>Prénom : </td><td>yyyy</td></tr>
<tr><td>Age : </td><td>29 ans</td></tr>

~~A priori les données cherchées ne sont pas affublées d'id ou de name (vous m'aurez compris).~~

~~Est-il possible de récupérer ce qui est compris dans les balises td qui suivent le texte recherché ?~~

EDIT : je récupère désormais avec children les seules données qui m'intéressent. J'aimerai donc savoir s'il existe une instruction qui permet de rechercher dans le code de la page source une chaine de 15 caractères commençant par "dans le " et de copier cette chaine dans une variable.

3°) en fait les données à collecter sont dans 16 tables réparties dans 4 pages internet ayant toutes la même url (il faut cliquer sur les numéros des pages suivantes pour accéder aux tables suivantes)
J'aurai voulu trouver comment faire pour charger la page suivante sachant que c'est une fonction javascript pageSearch (avec la méthode décrite dans l'article sus-visé cela aurait été
IEDoc.parentWindow.execScript "pageSearch(" & zNum & ")", "JavaScript")

~~4°) concerne la mise en forme des résultats dans une feuille excel mais c'est trop éloigné du sujet.~~

Merci à ceux qui ont pris la peine de me lire et au sein d'eux à ceux qui pourrait me donner des pistes.

nullos

**patricktoulon** · 10/09/2017, 16h50

bonjour
sans connaitre le lien de cette page ou son code source en entier (ce qui reviens au même) il nous sera difficile de t'aider car on ne peut pas deviner la structure de la page

**nullos** · 10/09/2017, 17h54

Bonjour et merci de t'être intéressé à mes problèmes. Je comprends que mes questions sans code source rendent très difficile les réponses à celles-ci. Mais je suis désolé je dois hélas garder pour moi le code source.

Je suis parvenu en tâtonnant à trouver pour ne récupérer que les données m'intéressant dans une table (je pense avoir compris l'utilisation de children).

Maintenant, j'aimerai savoir s'il existe une instruction qui permet de rechercher dans le code source de la page une chaine de 15 caractères commençant par "dans le " et de copier cette chaine dans une variable.

pour mon premier problème, je dupliquerai tant pis.

et pour mon troisième problème je continue à fouiller

**Marc-L** · 10/09/2017, 19h00

Bonjour,

en dehors de l'aide VBA interne contenant déjà tout le nécessaire concernant les fonctions texte
voir aussi le tutoriel de ce forum Manipuler les chaînes de caractères en VB6 et VBA Excel …

___________________________________________________________________________________________________________

Je suis Paris, Barcelone, London, Manchester, Egypte, Stockholm, Istanbul, Berlin, Nice, Bruxelles, Charlie, …

**nullos** · 10/09/2017, 20h42

Bon vu que je sais même pas dans quoi est stocké le code de la page, je me vois pas faire des manipulations de chaine.

Pour l'aide interne de VBA c'est pas mieux vu que je sais pas ce que c'est

Donc c'est mort.

Merci encore

nullos

**nullos** · 13/09/2017, 10h50

Bonjour les gens

Je rouvre le sujet, j'envisage les choses d'un manière différente (sans piloter IE).

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
 
 
Function WebPage$(URL$)
    With CreateObject("MSXML2.XMLHTTP")
        .Open "POST", URL, False
        On Error Resume Next
        .send
        On Error GoTo 0
        If .Status = 200 Then WebPage = .responseText
    End With
End Function

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
Test()
Dim URL1 As String
Dim result As String
 
 
URL1 = Cells(1, 1)
 
 result = WebPage$(URL1)
 MsgBox Len(result)
 
End Sub

Avec cette fonction, sur la page testée, le nombre de caractères renvoyés est de 21.945 alors qu'en réalité le code source de la page en compte plus de 149.000.

Quelqu'un a-t-il une explication ?

Merci d'avance

nullos

**Marc-L** · 13/09/2017, 11h48

Ne pas confondre le code source originel de la la page web
avec celui de la page une fois à jour des éléments chargés de diverses manières (JAVAscript, AJAX, …),
c'est dynamique comme aime à dire les p'tits jeunes …

**nullos** · 13/09/2017, 14h43

Merci infiniment, je crois comprendre mon erreur.

Laissez-moi un peu de temps pour digérer cette mauvaise nouvelle

Tiens finalement non, puisque le ridicule ne tue pas.
Mon "code" ne fait que récupérer le code source originel et non le contenu de la page générée dynamiquement c'est bien ça ?
Donc, du coup, pas le choix, il faut passer via CreateObject("InternetExplorer.Application") pour récupérer le code de la page généré dynamiquement (celui qui renferme les informations que je souhaite récupérer par manipulation de chaine) ?

Si oui, comment faire pour récupérer dans une variable l'intégralité du code généré ?

Merci pour votre patience

**patricktoulon** · 13/09/2017, 21h44

re
et bien c'est tout simple c'est pareil
avec ceci:".body.innerHTML" tu récupère le avant(identique au code source ) et le après( document modifié a jour)
il te faut une gestion d'attente

soit en ciblant la présence d'un élément que tu attends
soit en testant le changement du ".locationURL" du document ( la mise a jour peut etre une redirection )
soit tout simplement la gestion du readystate ou busy

des solutions il y a mais comme je n'en sais pas plus

**nullos** · 14/09/2017, 10h33

Bonjour et merci, c'est exactement de ".innerHTML" dont j'avais besoin pour récupérer les infos figurant dans le code et non visibles à l'affichage de la page (infos dans un lien)

j'arrive enfin à récupérer la partie qui m'intéresse, et à la traiter pour extirper par traitement de la chaine ces infos.

Il ne me reste plus qu'à reproduire cette collecte pour chacune des pages (IEDoc.parentWindow.execScript "xxxxx(" & zzz ")", "JavaScript", sauf erreur )

Je retourne donc à mes recherches.

Merci encore

**nullos** · 14/09/2017, 13h51

Ayé, j'ai trouvé toutes les réponses à mes questions

Merci infiniment aux participants à la discussion.
Sans vous, je ne suis pas certain que je serais parvenu à mon but.
Merci également à Qwazerty, son tutoriel m'a été bien utile http://qwazerty.developpez.com/tutor...-et-vba-excel/

EDIT:

Le but était d'aller chercher sur les 4 pages d'une adresse internet des informations non visibles à la consultation et de les classer dans une colonne dune feuille excel

**nullos** · 14/09/2017, 15h20

Voici une partie de mon "code" non optimisé:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
Sub WaitIE(IE As InternetExplorer)
   'On boucle tant que la page n'est pas totalement chargée
   Do Until IE.readyState = READYSTATE_COMPLETE
      DoEvents
   Loop
End Sub
 
Sub RecupElementTxt()
 
'Déclaration des variables
Dim IE As New InternetExplorer
Dim IEDoc As HTMLDocument
Dim HtmlElementStandard As HTMLGenericElement
Dim URL1 As String
Dim chaine As String
Dim ct As key
Dim text8 As String
 
   'Chargement d'une page Web dont l'adresse est saisie en A1
   URL1 = Cells(1, 1)
   IE.navigate URL1
 
   'Affichage de la fenêtre IE
   IE.Visible = False
 
   'On attend le chargement complet de la page
   WaitIE IE
 
   'On pointe le document
   Set IEDoc = IE.document
 
   'Allons chercher le code de la table 2 qui renferme 10 éléments textes de 6 caractères qui sont à collecter
 
 Set HtmlElementStandard = IEDoc.body.all.TABLE2
    chaine = HtmlElementStandard.all(0).innerHTML
 
   'on boucle
 For iii = 1 To 10
 
     ct = InStr(chaine, " de ") '"de" est le mot (4 caractères avec espaces) qui précède toujours l'élément texte de 6 caractères à collecter
	If Len(chaine) >= 6 Then
		If ct > 0 Then
		chaine = Mid(chaine, (ct + 4)) '' on supprime ce qui précède l'élément texte à collecter
		text8 = Left(chaine, 6) ' on supprime ce qui suit l'élément à collecter
		End If
	End If
 
	Cells(3 + iii, 2) = text8 ' on place l'élément texte collecté dans la colonne B
Next
 
 
'On passe à la page 2
 IEDoc.parentWindow.execScript "PageSearch(" & 1 & ")", "JavaScript"
 WaitIE IE
 
   'On pointe le document
   Set IEDoc = IE.document
 
 Set HtmlElementStandard = IEDoc.body.all.TABLE2
 
  chaine = HtmlElementStandard.all(0).innerHTML
 
 For iii = 1 To 10
	ct = InStr(chaine, " de ")
 
	If Len(chaine) >= 6 Then
		If ct > 0 Then
		chaine = Mid(chaine, (ct + 4))
		text8 = Left(chaine, 6)
		End If
	End If
 
	Cells(13 + iii, 2) = text8
Next
 
(...)
 
   'On libère les variables
   Set IE = Nothing
   Set IEDoc = Nothing
 
   'On ferme IE
   IE.Quit
 
End Sub

**patricktoulon** · 14/09/2017, 15h44

Bonjour
c'est bien je vois que tu buche comme un malade

mais ca n'est pas optimiser du tout

d'abords cette écriture me parait suspecte

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Set HtmlElementStandard = IEDoc.body.all.TABLE2

ensuite du boucle 10 fois sur le innerhtml de cet element pour en recupérer ce qui suis " de " si j'ai bien compris

ensuite tu execute le script pour afficher ta page 2

et rebolotte

sauf que si demain il y a 3 page et non 2 la page 3 walouh walouh ou meme si demain il n'y apas de mise ajour donc 1 page boumm!! erreur "variable non definie"

de meme que tu boucle 10 fois : et si demain il y en a 11 ou 9 tu fait quoi

reprenons reprenons pour que l'on se comprenne

question 1 : si je comprends tu a un lien avec une /des tables et tu veut en extraire certaines données qui sont dans ta table2 c'est bien cela ?

question 2: cette donnée qui se trouve apres le texte " de " dans quels elements se trouve t il ( des cellule"baliseTD")???

si c'est ce que je crois et que ces valeur sont dans des TDs
se serait donc pour la table2

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
ie.navigate"blablabla"
waitie
do 
waitie
i=i+1
set  mestd=ie.document.getelementsbytagname("TABLE")(1).getelementsbytagname("TD")
for i=0 to mestd.length-1
if mestd.innertext like "* de *" then msgbox mestd.innertext   ' t'en fait ce que tu en veux pour l'exemple je te l'affiche dans un msgbox 
next
'execution de ta fonction javascript
waitie
loop until i=2

par contre il faut que tu trouve le nombre de page dans la page html sinon tu sera toujours obligé de modifier le "2" du loop en cas d'erreur

**nullos** · 14/09/2017, 17h22

Merci

Alors hélas non pas de balises TD, les infos sont contenues dans le code d'un lien hypertext.

Oui je sais ce n'est pas optimisé du tout, et ce n'est pas propre, c'est de la bidouille

Effectivement le nombre de pages peut varier et il y a toujours 10 infos par page à récupérer sauf éventuellement sur la dernière...

Je vais donc ajouter la "détection" du nombre de pages et celle du nombre d'infos contenues par la dernière pour parer à toute éventualité.

**patricktoulon** · 14/09/2017, 19h17

si tu a des tabnles tu a forcement des TD ou LI
peut etre que se sont des balises "a" dans les td
AU QUEL CAS c'est msgbox mestd.getelementsbytagname("A").href

**nullos** · 15/09/2017, 07h44

Bonjour Patrick,

C'est bon merci pour ton aide.

En plus maintenant, c'est optimisé pour les cas particuliers.

Enfin optimisé comme je peux en être capable, juste quelque chose de très simple :
Je détermine le nombre d'infos à récupérer toutes pages confondues, je divise par 10 ce nombre ce qui permet de récupérer (INT) le nombre X des pages complètes à 10 infos et le nombre Y d'infos sur la dernière.
Après je boucle de 0 à X pour traiter toutes mes pages (for iii = 0 to X)
et à l'intérieur de cette boucle, j'ai une sous boucle pour récupérer les infos de chaque page (for i =1 to Z)
Z étant 10 si i <= X
et Z prenant la valeur Y si i=X.

Au plaisir
+++

Récupération de texte dans le code source d'une page internet [Toutes versions]

Macros et VBA Excel

Discussions similaires

Partager

Partager