Discussion :

[Sebphyto]

Bonjour à tous les membres du forum,

Après plusieurs requêtes web réalisées avec succès, me voilà confronté à un problème que je n'ai jamais rencontré....

Je souhaite me connecter à un site afin d'en récupérer des données (c le but d'une requête vous allez me dire )

Mais voici le souci:



J'ai donc essayé avec "importer données web"
et voici ce que j'obtiens



J'ai bien évidemment essayé avec d'autres liens mais sur ce site (ICI), excel ne veut rien savoir!!!!!!

Mon code:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
Option Explicit
 
Sub RecupGenyCourses()
 
    With Sheets("Temp").QueryTables.Add(Connection:="URL;http://www.geny.com/partants-pmu/2015-05-19-longchamp-pmu-prix-des-gobelins_c714591", Destination:=Range("A1"))
        .Name = "GenyCourses"
        .FieldNames = True
        .RowNumbers = False
        .FillAdjacentFormulas = False
        .PreserveFormatting = True
        .RefreshOnFileOpen = False
        .BackgroundQuery = False
        .RefreshStyle = xlInsertDeleteCells
        .SavePassword = False
        .SaveData = True
        .AdjustColumnWidth = False
        .RefreshPeriod = 0
        .WebSelectionType = xlEntirePage
        '.WebSelectionType = xlSpecifiedTables 'ici tables spécifique sinon table entière xlentiretables
        '.WebTables = "20,21,22,23,24,25,26" ' les tables sont récup dans le html avec F11 dans navigateur
        .WebFormatting = xlWebFormattingNone
        .WebPreFormattedTextToColumns = True
        .WebConsecutiveDelimitersAsOne = True
        .WebSingleBlockTextImport = False
        .WebDisableDateRecognition = False
        .WebDisableRedirections = False
        .Refresh BackgroundQuery:=True
        '.Delete
    End With
End Sub

Merci d'avance pour vos lumières

Seb A+

[Marc-L]

Bonjour,

le message est clair, le site est protégé …

Il faut changer de méthode en pilotant IE ou mieux en reproduisant la requête utilisée par un navigateur.



_____________________________________________________________________________________________________
Je suis Charlie - Je suis Bardo

[patricktoulon]

Bonjour
test ca dans un fichier vierge
ca illustre la 2 Emme solution que marc t'a suggéré

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
Sub test()
    Columns("A:l").Clear
    Dim ReQ As Object, UrL As String
    UrL = "http://www.geny.com/partants-pmu/2015-05-19-longchamp-pmu-prix-des-gobelins_c714591"
    Set ReQ = CreateObject("microsoft.xmlhttp")
    ReQ.Open "POST", UrL, False
    ReQ.setRequestHeader "Accept", "text/html, application/xhtml+xml, */*"
    ReQ.setRequestHeader "Accept-Language", "fr-FR"
    ReQ.setRequestHeader "User-Agent", "Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)"
    ReQ.setRequestHeader "Accept-Encoding", "gzip, deflate"
    ReQ.setRequestHeader "Host", "www.geny.com"
    ReQ.setRequestHeader "DNT", 1
    ReQ.setRequestHeader "Connection", "Keep - Alive"
    ReQ.setRequestHeader "Cookie", " JSESSIONID=3E554B80B1ABBC36A2C53EC91C219C77.raoul_1;"
    ReQ.send
    'MsgBox ReQ.responsetext
    Set fauxdoc = CreateObject("htmlfile")
    With fauxdoc
        .body.innerhtml = ReQ.responsetext
         Set grouptable = .getelementsbytagname("TABLE")
         For i = 0 To grouptable.Length - 1
           If grouptable(i).ParentNode.ID = "dt_partants" Then Set matable = grouptable(i)
        Next
 
        faire = .ParentWindow.clipboardData.SetData("text", matable.outerhtml)
        With Sheets(1)
            Set cel = .Cells(Rows.Count, 1).End(xlUp).Offset(2, 0)
            cel.Select
            .Paste:
        End With
        faire = .ParentWindow.clipboardData.ClearData("text")
    End With
End Sub

[Sebphyto]

Bonjour à tous,

@Marc-L

Merci de ton intervention, toujours aussi pertinent et éclairante pour tous.

@Patrick:

Merci de venir sur ce sujet, et je n'en doutai pas moins que tu rejoignes ce sujet, vu tes connaissances dans ce domaine. Et je t'avouerai que je ne souhaitai que cela .

Ton code est une bombe

Mais je t'avouerai que je suis dépassé par celui-ci, je créai des fichiers avec des requêtes, mais sous cette forme, franchement bravo

Je ne connaissais pas cette méthode.

Bon maintenant il faut que je l'insère dans ma procédure.

As-tu un tuto pour l'explication?

Merci et reviens vers vous

Seb

[patricktoulon]

re
essaie cette version j'ai ajouté le nettoyage des yperlink dans le résultat dans les cellules
1 le code en vert c'est la requête utilisant l'object Microsoftxmlhttp

2 le code en bleu c'est le paramétrage de la requête sans ca j'ai le même message que toi avant et c'est comme ca que qu'un navigateur envoie la requête pour avoir la page d'où l'expression de Marc-L "reproduire la requête du navigateur", il arrive parfois que ca ne soit pas nécessaire mais de plus en plus de cites prennent ce genre de mesure de sécurité

3 la partie en rouge c'est ce que j'ai ajouté pour nettoyé le code html de la table de tout "Href et autre balise comme ca plus de yperlink dans les cellules

4 la partie violette c'est ma petite astuce (utilisation du presse-papier du document html virtuel(fauxdoc)avec le presse-papier d'une vrai page web dans IE on aurait des message d'alerte
je place le code html de la table dans ce presse papier et je colle sur le sheets excel fait le reste


après pour l'insérer dans ta procédure il faudrait que j'en sache un peu plus

essaie celui la !

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
Sub test()
    Columns("A:l").Clear
    Dim ReQ As Object, UrL As String
    UrL = "http://www.geny.com/partants-pmu/2015-05-19-longchamp-pmu-prix-des-gobelins_c714591"
    Set ReQ = CreateObject("microsoft.xmlhttp")
    ReQ.Open "POST", UrL, False
    ReQ.setRequestHeader "Accept", "text/html, application/xhtml+xml, */*"
    ReQ.setRequestHeader "Accept-Language", "fr-FR"
    ReQ.setRequestHeader "User-Agent", "Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)"
    ReQ.setRequestHeader "Accept-Encoding", "gzip, deflate"
    ReQ.setRequestHeader "Host", "www.geny.com"
    ReQ.setRequestHeader "DNT", 1
    ReQ.setRequestHeader "Connection", "Keep - Alive"
    ReQ.setRequestHeader "Cookie", " JSESSIONID=3E554B80B1ABBC36A2C53EC91C219C77.raoul_1;"
    ReQ.send
    'MsgBox ReQ.responsetext
    Set fauxdoc = CreateObject("htmlfile")
    With fauxdoc
        .body.innerhtml = ReQ.responsetext
         Set grouptable = .getelementsbytagname("TABLE")
         For i = 0 To grouptable.Length - 1
           If grouptable(i).ParentNode.ID = "dt_partants" Then Set matable = grouptable(i)
        Next
        For Each elem In matable.all
        If elem.tagname = "TD" Then elem.innerhtml = elem.innertext
        Next
        faire = .ParentWindow.clipboardData.SetData("text", matable.outerhtml)
        With Sheets(1)
            Set cel = .Cells(Rows.Count, 1).End(xlUp).Offset(2, 0)
            cel.Select
            .Paste:
        End With
        faire = .ParentWindow.clipboardData.ClearData("text")
 End With
End Sub

[patricktoulon]

re
j'ai oublié de préciser que le paramétrage de la requête est unique pour chaque cite il te faudra utiliser l'espion f12 de IE ou celui de Firefox pour le connaitre
un détail aussi important !!!!!!
dans cette ligne tu constate que je prend un cookie
ReQ.setRequestHeader "Cookie", " JSESSIONID=3E554B80B1ABBC36A2C53EC91C219C77.raoul_1;"

en fait dans la requête il y en a plusieurs mais si j'en accepte pas au moins un!!! j'ai le message forbeden:!!!!
tout les cookies sont séparés par un point virgule c'est assez facile de récupérer le code pour un!!!
voici une capture d'écran de l'espion f12 de IE tu reconnaitra les éléments du header de la requête qui sont en bleu dans mon code

Bonne BUCHE!!!!

[Sebphyto]

Re,

Merci pour ces explications, c + clair, bon ok il faudra de l'entrainement pour comprendre ce tout.....

J'allais justement te demande à quoi correspondait ceci:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

ReQ.setRequestHeader "Cookie", " JSESSIONID=3E554B80B1ABBC36A2C53EC91C219C77.raoul_1;"

par contre tu écris cela :

le paramétrage de la requête est unique pour chaque cite

Dit-moi!!!!
pour ce site "Geny", avec un seul cookie accepté, je peux naviguer et récupérer chaque tables que je souhaite????

Sinon comment tu as su que je voulais récupérer cette table justement cela:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

If grouptable(i).ParentNode.ID = "dt_partants"

Pour ma procédure, je regarde ce que je peux faire et si je bloque je reviens vers toi....

Merci encore pour cette connaissance

seb

[patricktoulon]

Re,

Sinon comment tu as su que je voulais récupérer cette table justement cela:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

If grouptable(i).ParentNode.ID = "dt_partants"

quoi récupérer d'autre???????????

je pense que oui c'est assez répétitif comme structure de pages web j'ai vu bien plus compliqué
je pense que le header reste identique pour les pages de partant pour ce cite d'après ce que j'ai pu observer c'est une chance pour toi

donc pour chaque course change juste l'URL

[Sebphyto]

je pense que le header reste identique pour les pages de partant pour ce cite d'après ce que j'ai pu observer

C rassurant, merci

c'est une chance pour toi

cela sera moins soporifique pour ma compréhension

pour chaque course change juste l'URL

J'ai déjà ce genre de procédure pour d'autres requêtes, en gros je récupère chaque lien de cette page (ICI) dans une collection (sans doublon) et de là je fait évoluer la requête à cet endroit:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

UrL = "http://www.geny.com/partants-pmu/2015-05-19-longchamp-pmu-prix-des-gobelins_c714591"

De plus je ferai également évoluer la date dans le lien afin de pouvoir récupérer chaque jour souhaité...

Je construis cela et reviens le poster

Tu me diras ce que tu en penses

merci de ton aide encore une fois

Seb

[patricktoulon]

re
rien de plus facile
tu fait une première requête sur le lien de la page
et tu récupère tout les balises A qui ont la classe btncourse

[Marc-L]

Bien vu Patrick pour ton post #6 pour le cookie : ‼

[patricktoulon]

salut Marc

et oui c'est un soucis que l'on a eu il y a pas si longtemps j'ai fini par trouver la solution
le 1 er étant souvent le moins lourd

ca m'attriste beaucoup ca deviens presque trop facile

[Marc-L]

Bûche alors sur une QueryTable & un cookie ‼

[patricktoulon]

re
j'avoue que je me suis rarement servi de querytable vu le résultat j'ai très vite bifurqué sur mon object fétiche

mais pour le fun je peut essayer de voir mais juste pour le fun alors

re
j'ai un peu regardé le querytable, il semblerait que cette option n'existe pas .ca me conforte dans ce que j'avais dit il y a un moment déjà
c'est une fonction qui devrait même plus exister vu la complexité du html aujourd'hui chez Microsoft il devrait mettre cela a jour

mè qé ki ifout ché ché bibil

[Sebphyto]

Re à vous,

en passant, merci à vous de faire vivre ce sujet.

@Patrick: tu n'as jamais pensé à faire des tuto sur tes méthodes fort intéressantes...??

Ps: As-tu regarder ta messagerie privée?

Seb

[patricktoulon]

re
oui j'y ai déjà penser mais je suis un homme de terrain moi c'est les main dans le cambouis que je me sens a ma place avec les soldats
mais qui sais peut être qu'un jour je vais me décider
pour le moment je me contente d'apporter mon aide a ceux qui en ont besoins
et j'ai pu remarqué depuis quelques années que mes petits bout de codes avaient fait leur chemin sur divers cite et forums ,
j'ai donc été entendu n'est ce pas là la fonction des tutoriels
non je n'ai pas regarder mes MP je vais aller voir

disons aussi que c'est une question qui reviens souvent et sous diverses forme avec des particularité a chaque fois donc j'apprends moi aussi

voila on est copain maintenant

[Sebphyto]

Salut Patrick,

C avec plaisir

pour le moment je me contente d'apporter mon aide a ceux qui en ont besoins

Et tu le fais très bien

Bon j'y retourne à mon code....Lol

A dans insensément si peu

Seb

[joe.levrai]

Ah non !! Patrick faire des tutos, on aura tout vu

ça fait des mois que je lis, relis, et teste ses codes qui pilotent IE ... et je suis toujours pas fichu d'aller chercher une valeur dans une zone de liste sur une page internet ... c'est dire s'il est mauvais instructeur !!

Attendez... on me parle dans l'oreillette ...

Hum, il semblerait que ce soit moi le problème (ou plutôt le boulet)


Blague à part, ça me permet surtout de saluer la magie qui éclaire nos yeux quand Patrick consacre l'union d'IE et de VBA (et si ce n'était que sur ce sujet là )

[patricktoulon]

j'oubliais aussi
une requête peut se faire de 2 méthodes
la méthode "GET"
la méthode "POST"
c'est quoi la différence me dira tu?
en fait la méthode get peut aller chercher les données dans le cache (temporaire internet)
donc si tu a plusieurs fois envoyer une requête pour une page web il est fort possible que les données soit erronées car prises dans le cache sur tout dans ce genre de cite
la méthode post tu l'aura compris prend les données sur la pages
a quoi ca ca sert me dira tu d'avoir la méthode get ou post
en fait ca sert pas a grand chose aujourd'hui mais certain développeur web apparemment ne l'on pas compris

d'ailleurs certains cite n'accepte pas l'un ou l'autre en fin plus le "get" car ca t'oblige a venir dessus pub oblige (et oui pas de petit profits)
il serait d'ailleurs intéressant d'essayer ton exercice sans header et avec "get" au lieu de "POST" juste pour voir
je te laisse faire tes expériences

[Sebphyto]

Salut Patrick et les forumeurs....

Bon bah je suis confronté à un autre problème,

Sur la page "Geny", comme tu as peux le voir, on récupère le tableau "dt_partant", mais aurais également besoin de récupérer celle des entraineurs et jockeys.

J'ai dans ton code seulement changé
ceci:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

If grouptable(i).ParentNode.ID = "dt_partants" Then Set matable = grouptable(i)

en cela pour le 1er:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

If grouptable(i).ParentNode.ID = "tb-j-p" Then Set matable = grouptable(i)

et pour le 2ème:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

If grouptable(i).ParentNode.ID = "tb-e-p" Then Set matable = grouptable(i)

Mais il m'indique une erreur à cette ligne:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

 For Each elem In matable.all

"Objet requis"

Je ne comprends pas pourquoi?

quand je regarde la structure en espionnant IE, c'est la même que le tableau "td_partants"


merci de bien vouloir m'éclairer