Récupération de texte dans le code source d'une page internet

Version imprimable

Bonjour,

Présentation : je suis juriste et je bidouille quelques macros excel pour m'amuser le WE sans avoir aucune base vba requise (donc je galère pas mal)

Je cherche au moyen d'une macro excel à récupérer diverses informations comprises dans une page web et à les ordonner dans une feuille de classeur.

J'ai lu et essayer de comprendre l'article sur la manipulation d'IE par VBA https://www.developpez.net/forums/d1...lorer-via-vba/ et http://qwazerty.developpez.com/tutor...-et-vba-excel/

J'ai parcouru d'autres discussions dont
https://www.developpez.net/forums/d1...ls-d-page-web/

et surtout https://www.developpez.net/forums/d1...cles-internet/

Je n'ai pas retenu la méthode de l'article car il faut activer des librairies et je sais que l'utilisateur final ne saura pas comment procéder.
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 Sub DemoIE() Dim yNum As Byte Dim zNum As Byte Const URL$ = "https://www.xxxxxx" With CreateObject("InternetExplorer.Application") .navigate URL While .Busy Or .readyState < 4: DoEvents: Wend With .document.all.TABLE2 T$ = .all(0).innerText End With .Quit MsgBox T, vbInformation, " Résultat" End With End Sub
J'ai 4 difficultés principales (rien que ça).

1°) les informations que je cherche à reprendre sont comprises dans 4 tables numérotées de 2 à 5. je pourrai évidemment copier le code 3 fois en modifiant le nom de la table (TABLE2, TABLE3, TABLE4, TABLE5) mais je voudrai boucler mais je ne parviens pas trouver la bonne syntaxe With .document.all.TABLE <-(variableYNum)

2°) la je récupère dans ma variable l'ensemble des éléments de la table mais au sein de chacune des tables je souhaiterai davantage récupérer séparément dans chacune des lignes un texte suivant toujours le même texte.
par exemple, je voudrais récupérer ce qui suit "Nom :" , "Prénom :", "Age :"
la structure de la table est
Code:

1 2 3 <tr><td>Nom :</td><td> xxxx</td></tr> <tr><td>Prénom : </td><td>yyyy</td></tr> <tr><td>Age : </td><td>29 ans</td></tr>
~~A priori les données cherchées ne sont pas affublées d'id ou de name (vous m'aurez compris).~~

~~Est-il possible de récupérer ce qui est compris dans les balises td qui suivent le texte recherché ?~~

EDIT : je récupère désormais avec children les seules données qui m'intéressent. J'aimerai donc savoir s'il existe une instruction qui permet de rechercher dans le code de la page source une chaine de 15 caractères commençant par "dans le " et de copier cette chaine dans une variable.

3°) en fait les données à collecter sont dans 16 tables réparties dans 4 pages internet ayant toutes la même url (il faut cliquer sur les numéros des pages suivantes pour accéder aux tables suivantes)
J'aurai voulu trouver comment faire pour charger la page suivante sachant que c'est une fonction javascript pageSearch (avec la méthode décrite dans l'article sus-visé cela aurait été
IEDoc.parentWindow.execScript "pageSearch(" & zNum & ")", "JavaScript")

~~4°) concerne la mise en forme des résultats dans une feuille excel mais c'est trop éloigné du sujet.~~

Merci à ceux qui ont pris la peine de me lire et au sein d'eux à ceux qui pourrait me donner des pistes.

nullos

10/09/2017, 16h50
patricktoulon

re

bonjour
sans connaitre le lien de cette page ou son code source en entier (ce qui reviens au même) il nous sera difficile de t'aider car on ne peut pas deviner la structure de la page
10/09/2017, 17h54
nullos

Bonjour et merci de t'être intéressé à mes problèmes. Je comprends que mes questions sans code source rendent très difficile les réponses à celles-ci. Mais je suis désolé je dois hélas garder pour moi le code source.

Je suis parvenu en tâtonnant à trouver pour ne récupérer que les données m'intéressant dans une table (je pense avoir compris l'utilisation de children).

Maintenant, j'aimerai savoir s'il existe une instruction qui permet de rechercher dans le code source de la page une chaine de 15 caractères commençant par "dans le " et de copier cette chaine dans une variable.

pour mon premier problème, je dupliquerai tant pis.

et pour mon troisième problème je continue à fouiller :D
10/09/2017, 19h00
Marc-L

Bonjour,

en dehors de l'aide VBA interne contenant déjà tout le nécessaire concernant les fonctions texte
voir aussi le tutoriel de ce forum Manipuler les chaînes de caractères en VB6 et VBA Excel …

___________________________________________________________________________________________________________
Je suis Paris, Barcelone, London, Manchester, Egypte, Stockholm, Istanbul, Berlin, Nice, Bruxelles, Charlie, …
10/09/2017, 20h42
nullos

Bon vu que je sais même pas dans quoi est stocké le code de la page, je me vois pas faire des manipulations de chaine.

Pour l'aide interne de VBA c'est pas mieux vu que je sais pas ce que c'est :mrgreen:

Donc c'est mort.

Merci encore :D

nullos

Bonjour les gens :D

Je rouvre le sujet, j'envisage les choses d'un manière différente (sans piloter IE).
Code:

1 2 3 4 5 6 7 8 9 10 11 Function WebPage$(URL$) With CreateObject("MSXML2.XMLHTTP") .Open "POST", URL, False On Error Resume Next .send On Error GoTo 0 If .Status = 200 Then WebPage = .responseText End With End Function
Code:

1 2 3 4 5 6 7 8 9 10 11 Test() Dim URL1 As String Dim result As String URL1 = Cells(1, 1) result = WebPage$(URL1) MsgBox Len(result) End Sub
Avec cette fonction, sur la page testée, le nombre de caractères renvoyés est de 21.945 alors qu'en réalité le code source de la page en compte plus de 149.000.

Quelqu'un a-t-il une explication ?

Merci d'avance

nullos

13/09/2017, 11h48
Marc-L

Ne pas confondre le code source originel de la la page web
avec celui de la page une fois à jour des éléments chargés de diverses manières (JAVAscript, AJAX, …),
c'est dynamique comme aime à dire les p'tits jeunes …
13/09/2017, 14h43
nullos

Merci infiniment, je crois comprendre mon erreur.

Laissez-moi un peu de temps pour digérer cette mauvaise nouvelle :(

Tiens finalement non, puisque le ridicule ne tue pas.
Mon "code" ne fait que récupérer le code source originel et non le contenu de la page générée dynamiquement c'est bien ça ?
Donc, du coup, pas le choix, il faut passer via CreateObject("InternetExplorer.Application") pour récupérer le code de la page généré dynamiquement (celui qui renferme les informations que je souhaite récupérer par manipulation de chaine) ?

Si oui, comment faire pour récupérer dans une variable l'intégralité du code généré ?

Merci pour votre patience
13/09/2017, 21h44
patricktoulon

re

re
et bien c'est tout simple c'est pareil
avec ceci:".body.innerHTML" tu récupère le avant(identique au code source ) et le après( document modifié a jour)
il te faut une gestion d'attente

soit en ciblant la présence d'un élément que tu attends
soit en testant le changement du ".locationURL" du document ( la mise a jour peut etre une redirection )
soit tout simplement la gestion du readystate ou busy

des solutions il y a mais comme je n'en sais pas plus
14/09/2017, 10h33
nullos

Bonjour et merci, c'est exactement de ".innerHTML" dont j'avais besoin pour récupérer les infos figurant dans le code et non visibles à l'affichage de la page (infos dans un lien)

j'arrive enfin à récupérer la partie qui m'intéresse, et à la traiter pour extirper par traitement de la chaine ces infos.

Il ne me reste plus qu'à reproduire cette collecte pour chacune des pages (IEDoc.parentWindow.execScript "xxxxx(" & zzz ")", "JavaScript", sauf erreur )

Je retourne donc à mes recherches.

Merci encore
14/09/2017, 13h51
nullos

Ayé, j'ai trouvé toutes les réponses à mes questions :D
Merci infiniment aux participants à la discussion.
Sans vous, je ne suis pas certain que je serais parvenu à mon but.
Merci également à Qwazerty, son tutoriel m'a été bien utile http://qwazerty.developpez.com/tutor...-et-vba-excel/

EDIT:

Le but était d'aller chercher sur les 4 pages d'une adresse internet des informations non visibles à la consultation et de les classer dans une colonne dune feuille excel

Voici une partie de mon "code" non optimisé:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
Sub WaitIE(IE As InternetExplorer)
   'On boucle tant que la page n'est pas totalement chargée
   Do Until IE.readyState = READYSTATE_COMPLETE
      DoEvents
   Loop
End Sub
 
Sub RecupElementTxt()
 
'Déclaration des variables
Dim IE As New InternetExplorer
Dim IEDoc As HTMLDocument
Dim HtmlElementStandard As HTMLGenericElement
Dim URL1 As String
Dim chaine As String
Dim ct As key
Dim text8 As String
 
   'Chargement d'une page Web dont l'adresse est saisie en A1
   URL1 = Cells(1, 1)
   IE.navigate URL1
 
   'Affichage de la fenêtre IE
   IE.Visible = False
 
   'On attend le chargement complet de la page
   WaitIE IE
 
   'On pointe le document
   Set IEDoc = IE.document
 
   'Allons chercher le code de la table 2 qui renferme 10 éléments textes de 6 caractères qui sont à collecter
 
 Set HtmlElementStandard = IEDoc.body.all.TABLE2
    chaine = HtmlElementStandard.all(0).innerHTML
 
   'on boucle
 For iii = 1 To 10
 
     ct = InStr(chaine, " de ") '"de" est le mot (4 caractères avec espaces) qui précède toujours l'élément texte de 6 caractères à collecter
	If Len(chaine) >= 6 Then
		If ct > 0 Then
		chaine = Mid(chaine, (ct + 4)) '' on supprime ce qui précède l'élément texte à collecter
		text8 = Left(chaine, 6) ' on supprime ce qui suit l'élément à collecter
		End If
	End If
 
	Cells(3 + iii, 2) = text8 ' on place l'élément texte collecté dans la colonne B
Next
 
 
'On passe à la page 2
 IEDoc.parentWindow.execScript "PageSearch(" & 1 & ")", "JavaScript"
 WaitIE IE
 
   'On pointe le document
   Set IEDoc = IE.document
 
 Set HtmlElementStandard = IEDoc.body.all.TABLE2
 
  chaine = HtmlElementStandard.all(0).innerHTML
 
 For iii = 1 To 10
	ct = InStr(chaine, " de ")
 
	If Len(chaine) >= 6 Then
		If ct > 0 Then
		chaine = Mid(chaine, (ct + 4))
		text8 = Left(chaine, 6)
		End If
	End If
 
	Cells(13 + iii, 2) = text8
Next
 
(...)
 
   'On libère les variables
   Set IE = Nothing
   Set IEDoc = Nothing
 
   'On ferme IE
   IE.Quit
 
End Sub

Bonjour
c'est bien je vois que tu buche comme un malade

mais ca n'est pas optimiser du tout

d'abords cette écriture me parait suspecte

Code:

Set HtmlElementStandard = IEDoc.body.all.TABLE2

ensuite du boucle 10 fois sur le innerhtml de cet element pour en recupérer ce qui suis " de " si j'ai bien compris

ensuite tu execute le script pour afficher ta page 2

et rebolotte

sauf que si demain il y a 3 page et non 2 la page 3 walouh walouh ou meme si demain il n'y apas de mise ajour donc 1 page boumm!! erreur "variable non definie"

de meme que tu boucle 10 fois : et si demain il y en a 11 ou 9 tu fait quoi

reprenons reprenons pour que l'on se comprenne

question 1 : si je comprends tu a un lien avec une /des tables et tu veut en extraire certaines données qui sont dans ta table2 c'est bien cela ?

question 2: cette donnée qui se trouve apres le texte " de " dans quels elements se trouve t il ( des cellule"baliseTD")???

si c'est ce que je crois et que ces valeur sont dans des TDs
se serait donc pour la table2
Code:

1 2 3 4 5 6 7 8 9 10 11 12 ie.navigate"blablabla" waitie do waitie i=i+1 set mestd=ie.document.getelementsbytagname("TABLE")(1).getelementsbytagname("TD") for i=0 to mestd.length-1 if mestd.innertext like "* de *" then msgbox mestd.innertext ' t'en fait ce que tu en veux pour l'exemple je te l'affiche dans un msgbox next 'execution de ta fonction javascript waitie loop until i=2
par contre il faut que tu trouve le nombre de page dans la page html sinon tu sera toujours obligé de modifier le "2" du loop en cas d'erreur

14/09/2017, 17h22
nullos

Merci :D

Alors hélas non pas de balises TD, les infos sont contenues dans le code d'un lien hypertext.

Oui je sais ce n'est pas optimisé du tout, et ce n'est pas propre, c'est de la bidouille :oops:

Effectivement le nombre de pages peut varier et il y a toujours 10 infos par page à récupérer sauf éventuellement sur la dernière...

Je vais donc ajouter la "détection" du nombre de pages et celle du nombre d'infos contenues par la dernière pour parer à toute éventualité.
14/09/2017, 19h17
patricktoulon

re

si tu a des tabnles tu a forcement des TD ou LI
peut etre que se sont des balises "a" dans les td
AU QUEL CAS c'est msgbox mestd.getelementsbytagname("A").href
15/09/2017, 07h44
nullos

Bonjour Patrick,

C'est bon merci pour ton aide.

En plus maintenant, c'est optimisé pour les cas particuliers.

Enfin optimisé comme je peux en être capable, juste quelque chose de très simple :
Je détermine le nombre d'infos à récupérer toutes pages confondues, je divise par 10 ce nombre ce qui permet de récupérer (INT) le nombre X des pages complètes à 10 infos et le nombre Y d'infos sur la dernière.
Après je boucle de 0 à X pour traiter toutes mes pages (for iii = 0 to X)
et à l'intérieur de cette boucle, j'ai une sous boucle pour récupérer les infos de chaque page (for i =1 to Z)
Z étant 10 si i <= X
et Z prenant la valeur Y si i=X.

Au plaisir
+++