Discussion :

[Pierre845]

Bonjour,

J'aimerais télécharger (de manière automatique avec excel) une page web qui comporte un tableau sachant qu'il y a du javascript qui complique la chose.

Je m'explique, en faisant un clic droit sur la page web, puis enregistrer sous .. , lorsque j'édite au format texte le code source, j'ai bien le tableau avec les valeurs que je veux.

Par contre quand j'utilise URLDownloadtoFile, dans le code que je récupère j'ai un vide à la place du tableau avec <script> de marqué

A noter que lorsque je vais sur le site, il y a plusieurs onglets, et par défaut il se met sur l'onglet du tableau que je veux télécharger.
Et quand on change d'onglet, l'adresse URL ne change pas.

J'avais déjà cherché une solution il y a 6 mois mais n'ayant rien trouvé j'avais abandonné.

J'ai cherché dans les XMLHTTPrequest, ie4ahk, cURL, HTTrack, mais franchement je suis dépassé.

Et d'un point de vue général, quand on est confronté à un site avec des tableaux ou données que l'on veut récupérer mais que l'adresse URL ne change pas (ajax, javascript .. ) comment peut-on faire pour récupérer ce que l'on veut ? URLdownloadtofile gère-t-il les scripts ? (j'ai cru comprendre que non avec toutes les recherches et tests que j'ai fait)
Et qu'est-ce que je dois utiliser à ce moment là ?

un grand merci si vous avez un bout de solution.

[Pierre845]

j'ai l'impression que dès qu'on prononce le mot "javascript" tout le monde part se cacher !! Visual Basic serait-il de la programmation des apprentis informaticiens ? (ce que je suis par ailleurs .., mais est-ce le cas de tout le monde !)

[cafeine]

Hello,

C'est assez malin de ta part de titiller la fierté des membres du forum, mais je vais essayer de ne pas me départir de mon amateurisme.

Selon moi, tu devrais piloter une fenêtre IE (Internet Explorer) depuis le VBA, et une fois le tableau dispo récupérer la source.

Dans le temps j'avais monté une fonction générique pour manipuler IE :
commencer par ajouter la référence Microsoft Internet Controls (shdocvw.dll)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
Option Explicit
 
Private Declare Sub Sleep Lib "kernel32" (ByVal dwMilliseconds As Long)
Private Declare Function ShowWindow Lib "user32" _
    (ByVal hwnd As Long, ByVal nCmdShow As Long) As Long
' Activate an application window.
Private Declare Function SetForegroundWindow Lib "user32.dll" _
(ByVal hwnd As Long) As Boolean
 
 
Function GetIE(ByVal titre As String, ByVal action As String, _
               Optional ByVal BoucleMax As Long = 20) As String
' getie "Sélect", "WRI=SAPBWHIGH_1=12"
' getie "Sélect. val. filtre", "LNK=javascript:execute_export();"
 
Dim WinShell As New ShellWindows
Dim IEapp As New InternetExplorer
Dim doc As HTMLDocument
Dim ctl As Object
Dim i As Integer
 
'On Error Resume Next
For Each IEapp In WinShell
    If IEapp.LocationName Like "*" & titre & "*" Then
        Select Case Left(action, 3)
            Case "WRI" ' remplir un formulaire
                Do While IEapp.Busy Or IEapp.ReadyState <> READYSTATE_COMPLETE
                    DoEvents
                Loop 'attend la fin du chargement pour continuer la procedure
                Set doc = IEapp.Document
                Set ctl = doc.getElementsByName(Split(action, "=")(1))
                ctl(0).Value = Split(action, "=")(2)
 
 
            Case "LNK" ' cas d'un lien
                Do While IEapp.Busy Or IEapp.ReadyState <> READYSTATE_COMPLETE
                    DoEvents
                Loop 'attend la fin du chargement pour continuer la procedure
                Set doc = IEapp.Document
                For i = 0 To BoucleMax
                    Debug.Print doc.Links(i).href
                    If doc.Links(i).href = Split(action, "=")(1) Then
                        doc.Links(i).Click
                        Exit For
                    End If
                Next i
                Do While IEapp.Busy Or IEapp.ReadyState <> READYSTATE_COMPLETE
                    DoEvents
                Loop 'attend la fin du chargement pour continuer la procedure
 
            Case "CLI" ' cas d'un bouton
                Do While IEapp.Busy Or IEapp.ReadyState <> READYSTATE_COMPLETE
                    DoEvents
                Loop 'attend la fin du chargement pour continuer la procedure
                Set doc = IEapp.Document
                Set ctl = doc.getElementsByName(Split(action, "=")(1))
                doc.Links(i).Click
                Do While IEapp.Busy Or IEapp.ReadyState <> READYSTATE_COMPLETE
                    DoEvents
                Loop 'attend la fin du chargement pour continuer la procedure
 
            Case "CHK" 'vérifier
                GetIE = "Ok"
 
            Case "SCR" 'execution de script
                Set doc = IEapp.Document
                doc.parentWindow.execScript Split(action, "=")(1), "Javascript"
 
            Case "URL" 'retrieve URL
                GetIE = IEapp.LocationURL
 
        End Select
        Exit Function
    End If
Next IEapp
 
Set doc = Nothing
Set ctl = Nothing
Set IEapp = Nothing
Set WinShell = Nothing
 
End Function

Venons en à l'utilisation par l'exemple

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

getie "Sélect", "WRI=SAPBWHIGH_1=12"

permet de saisir (action WRI comme write) dans un controle de formulaire appelé SAPBWHIGH la valeur 12 dans une fenêtre dont le nom contient "Sélect"

Liste des actions disponibles :
WRI : écrit dans un champ de formulaire
LNK : simule un clic sur un lien (voire un bouton)
CLI : simule un clic sur un bouton
CHK : vérifie si la fenêtre recherchée existe
URL : renvoie l'url de la fenêtre
SCR : exécute un script (javascript)

[Pierre845]

arf merci Cafeine, je parlais en règle générale, tu fais partie de ceux qui maîtrisent.
je me fais toujours chambrer par un ami informaticien pro du java qui critique visual basic en disant que c'est de la prog d'amateurs. évidement à chaque fois je défend visual basic ..

bref concernant ta fonction je bloque déjà sur
"If IEapp.LocationName Like "*" & titre & "*" Then"

j'ai fait le test sur http://www.canalplus.fr/pid1747-c-sport.html
avec GetIE "Canalplus.fr", "SCR=switch_4345(1);", 100

j'ai été obligé pour que ça marche d'enlever la ligne du LocationName de ta fonction, et j'ai réussi à faire un switch javascript entre les onglets A VENIR et LIVE

par ailleurs mon but est de récupérer des valeurs dans l'onglet A VENIR qui ne se trouvent pas dans le code source.

exemple, en se mettant sur l'onglet A VENIR, on a le code source suivant (click droit, code source):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
<div id="avenir_4345" style="background-color:#B3B3B3;">
		<div class="titre_bandeau" style="background-color:#B3B3B3;"><img src="http://media.canal-plus.com/lib/media_tools/image_title_QSBWRU5JUiBTVVIgQ0FOQUxQTFVTLkZSXzIzOV8xNF9ib2xkXzEyXzFfXzFfXyNGRkZGRkZfd3d3cGx1c18jQjNCM0IzX18%3D.jpg" title="A VENIR SUR CANALPLUS.FR"  border="0" alt=A VENIR SUR CANALPLUS.FR /></div>
<div class="contenu_mea canal"  ><div id="content_avenir_4345" class="scroll-pane content_text" style="background-color:#B3B3B3;"></div></div>
	</div>

alors qu'en faisant click droit, enregistrer sous, puis en allant lire le fichier htm en éditeur texte, on a :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
<div id="avenir_4345" style="background-color: rgb(179, 179, 179); visibility: visible;">
		<div class="titre_bandeau" style="background-color: rgb(179, 179, 179);"><img src="pid1747-c-sport_fichiers/image_title_QSBWRU5JUiBTVVIgQ0FOQUxQTFVTLkZSXzIzOV8xNF9ib2xk.jpg" title="A VENIR SUR CANALPLUS.FR" alt="A" venir="" sur="" canalplus.fr="" border="0"></div>
<div class="contenu_mea canal"><div style="height: 185px; width: 229px;" class="jScrollPaneContainer"><div id="content_avenir_4345" class="scroll-pane content_text" style="overflow: visible; background-color: rgb(179, 179, 179); height: auto; width: 193px; padding-right: 5px; position: absolute; top: 0px;">
<div style="cursor: pointer;">
		<table cellpadding="0" cellspacing="0">
							<tbody><tr>
						<td onclick="popupLiveMultiplex('2612','1747','257529');" class="tt-noir10 gris_fonce_vs_sport" width="160">Cyclisme - TDF</td>
						<td onclick="popupLiveMultiplex('2612','1747','257529');" rowspan="4" valign="top" width="40" align="right"><div class="icone_inter"><img onclick="selection_live()" style="cursor: pointer; margin-top: 6px;" src="pid1747-c-sport_fichiers/texte_noir_fd_gris.jpg" title="Live texte"></div></td>
					</tr>
 
					[etc etc ...............]
 
					<tr><td>&nbsp;</td><td></td></tr>
							</tbody></table></div>
		</div><div style="width: 11px; height: 157px; top: 14px;" class="jScrollPaneTrack"><div style="width: 11px; height: 142.377px; top: 0px;" class="jScrollPaneDrag"><div style="width: 11px;" class="jScrollPaneDragTop"></div><div style="width: 11px;" class="jScrollPaneDragBottom"></div></div></div><a style="width: 11px;" class="jScrollArrowUp" href="javascript:;">Scroll up</a><a style="width: 11px;" class="jScrollArrowDown" href="javascript:;">Scroll down</a></div></div>
	</div>

bon j'en ai enlevé car c'était trop lourd sinon, déjà que là ..

la valeur que j'aimerais récupérer dans ce cas est "Cyclisme - TDF", que je n'ai pas dans le code source (et donc ça sert à rien que je fasse un URLdownloadtofile car j'obtiens que le code source).
J'ai bien essayé les execCommand et autres execWB et sendkeys .. mais attention la lourdeur ..

et il doit bien y avoir un moyen de récupérer cette valeur dans une variable sans être obligé de downloader la page web ni faire un copier/coller de tout son contenu dans une feuille excel (execWB 12 puis 17 dans ce cas)

car la différence entre code source page, et page en elle-même, c'est bien qu'il y a un script dans le code source qui fait que la page nous "montre" les valeurs, valeurs telles que "Cyclisme - TDF" dans l'onglet A VENIR

[cafeine]

Hello,

ne perd pas ton temps, canal+ ne tient pas à travailler pour les autres, et les scores live sont générés par une page php qui crée un image GIF.
En outre, je pense que si tu regardes les conditions d'utilisation du site de canal+ tu verras qu'il est illégal de piocher dedans sans leur accord.

Ce site et son contenu sont protégés par le droit d'auteur et les droits de propriété intellectuelle. Certains éléments qui apparaissent sur ce site (et notamment les marques, dessins et logos) sont protégés par des droits de propriété intellectuelle. Ces marques déposées sont la propriété de GROUPE CANAL+ ou de ses filiales. Toute reproduction, imitation et/ou exploitation partielle ou totale de ces marques, sans l'autorisation expresse et écrite de GROUPE CANAL+, est strictement prohibée.

[Pierre845]

salut,

oui je sais bien, c'était pour l'exemple, car de nombreux sites fonctionnent comme cela.
un script pour faire apparaître du texte ou un tableau dans leur page et rien dans le code source.

il me reste à trouver un autre exemple si j'ai bien compris