Discussion :

[Sebphyto]

Bonjour à tous les membres du forum,

Après plusieurs requêtes web réalisées avec succès, me voilà confronté à un problème que je n'ai jamais rencontré....

Je souhaite me connecter à un site afin d'en récupérer des données (c le but d'une requête vous allez me dire )

Mais voici le souci:



J'ai donc essayé avec "importer données web"
et voici ce que j'obtiens



J'ai bien évidemment essayé avec d'autres liens mais sur ce site (ICI), excel ne veut rien savoir!!!!!!

Mon code:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
Option Explicit
 
Sub RecupGenyCourses()
 
    With Sheets("Temp").QueryTables.Add(Connection:="URL;http://www.geny.com/partants-pmu/2015-05-19-longchamp-pmu-prix-des-gobelins_c714591", Destination:=Range("A1"))
        .Name = "GenyCourses"
        .FieldNames = True
        .RowNumbers = False
        .FillAdjacentFormulas = False
        .PreserveFormatting = True
        .RefreshOnFileOpen = False
        .BackgroundQuery = False
        .RefreshStyle = xlInsertDeleteCells
        .SavePassword = False
        .SaveData = True
        .AdjustColumnWidth = False
        .RefreshPeriod = 0
        .WebSelectionType = xlEntirePage
        '.WebSelectionType = xlSpecifiedTables 'ici tables spécifique sinon table entière xlentiretables
        '.WebTables = "20,21,22,23,24,25,26" ' les tables sont récup dans le html avec F11 dans navigateur
        .WebFormatting = xlWebFormattingNone
        .WebPreFormattedTextToColumns = True
        .WebConsecutiveDelimitersAsOne = True
        .WebSingleBlockTextImport = False
        .WebDisableDateRecognition = False
        .WebDisableRedirections = False
        .Refresh BackgroundQuery:=True
        '.Delete
    End With
End Sub

Merci d'avance pour vos lumières

Seb A+

[Marc-L]

Bonjour,

le message est clair, le site est protégé …

Il faut changer de méthode en pilotant IE ou mieux en reproduisant la requête utilisée par un navigateur.



_____________________________________________________________________________________________________
Je suis Charlie - Je suis Bardo

[patricktoulon]

Bonjour
test ca dans un fichier vierge
ca illustre la 2 Emme solution que marc t'a suggéré

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
Sub test()
    Columns("A:l").Clear
    Dim ReQ As Object, UrL As String
    UrL = "http://www.geny.com/partants-pmu/2015-05-19-longchamp-pmu-prix-des-gobelins_c714591"
    Set ReQ = CreateObject("microsoft.xmlhttp")
    ReQ.Open "POST", UrL, False
    ReQ.setRequestHeader "Accept", "text/html, application/xhtml+xml, */*"
    ReQ.setRequestHeader "Accept-Language", "fr-FR"
    ReQ.setRequestHeader "User-Agent", "Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)"
    ReQ.setRequestHeader "Accept-Encoding", "gzip, deflate"
    ReQ.setRequestHeader "Host", "www.geny.com"
    ReQ.setRequestHeader "DNT", 1
    ReQ.setRequestHeader "Connection", "Keep - Alive"
    ReQ.setRequestHeader "Cookie", " JSESSIONID=3E554B80B1ABBC36A2C53EC91C219C77.raoul_1;"
    ReQ.send
    'MsgBox ReQ.responsetext
    Set fauxdoc = CreateObject("htmlfile")
    With fauxdoc
        .body.innerhtml = ReQ.responsetext
         Set grouptable = .getelementsbytagname("TABLE")
         For i = 0 To grouptable.Length - 1
           If grouptable(i).ParentNode.ID = "dt_partants" Then Set matable = grouptable(i)
        Next
 
        faire = .ParentWindow.clipboardData.SetData("text", matable.outerhtml)
        With Sheets(1)
            Set cel = .Cells(Rows.Count, 1).End(xlUp).Offset(2, 0)
            cel.Select
            .Paste:
        End With
        faire = .ParentWindow.clipboardData.ClearData("text")
    End With
End Sub

[Sebphyto]

Bonjour à tous,

@Marc-L

Merci de ton intervention, toujours aussi pertinent et éclairante pour tous.

@Patrick:

Merci de venir sur ce sujet, et je n'en doutai pas moins que tu rejoignes ce sujet, vu tes connaissances dans ce domaine. Et je t'avouerai que je ne souhaitai que cela .

Ton code est une bombe

Mais je t'avouerai que je suis dépassé par celui-ci, je créai des fichiers avec des requêtes, mais sous cette forme, franchement bravo

Je ne connaissais pas cette méthode.

Bon maintenant il faut que je l'insère dans ma procédure.

As-tu un tuto pour l'explication?

Merci et reviens vers vous

Seb

[patricktoulon]

re
essaie cette version j'ai ajouté le nettoyage des yperlink dans le résultat dans les cellules
1 le code en vert c'est la requête utilisant l'object Microsoftxmlhttp

2 le code en bleu c'est le paramétrage de la requête sans ca j'ai le même message que toi avant et c'est comme ca que qu'un navigateur envoie la requête pour avoir la page d'où l'expression de Marc-L "reproduire la requête du navigateur", il arrive parfois que ca ne soit pas nécessaire mais de plus en plus de cites prennent ce genre de mesure de sécurité

3 la partie en rouge c'est ce que j'ai ajouté pour nettoyé le code html de la table de tout "Href et autre balise comme ca plus de yperlink dans les cellules

4 la partie violette c'est ma petite astuce (utilisation du presse-papier du document html virtuel(fauxdoc)avec le presse-papier d'une vrai page web dans IE on aurait des message d'alerte
je place le code html de la table dans ce presse papier et je colle sur le sheets excel fait le reste


après pour l'insérer dans ta procédure il faudrait que j'en sache un peu plus

essaie celui la !

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
Sub test()
    Columns("A:l").Clear
    Dim ReQ As Object, UrL As String
    UrL = "http://www.geny.com/partants-pmu/2015-05-19-longchamp-pmu-prix-des-gobelins_c714591"
    Set ReQ = CreateObject("microsoft.xmlhttp")
    ReQ.Open "POST", UrL, False
    ReQ.setRequestHeader "Accept", "text/html, application/xhtml+xml, */*"
    ReQ.setRequestHeader "Accept-Language", "fr-FR"
    ReQ.setRequestHeader "User-Agent", "Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)"
    ReQ.setRequestHeader "Accept-Encoding", "gzip, deflate"
    ReQ.setRequestHeader "Host", "www.geny.com"
    ReQ.setRequestHeader "DNT", 1
    ReQ.setRequestHeader "Connection", "Keep - Alive"
    ReQ.setRequestHeader "Cookie", " JSESSIONID=3E554B80B1ABBC36A2C53EC91C219C77.raoul_1;"
    ReQ.send
    'MsgBox ReQ.responsetext
    Set fauxdoc = CreateObject("htmlfile")
    With fauxdoc
        .body.innerhtml = ReQ.responsetext
         Set grouptable = .getelementsbytagname("TABLE")
         For i = 0 To grouptable.Length - 1
           If grouptable(i).ParentNode.ID = "dt_partants" Then Set matable = grouptable(i)
        Next
        For Each elem In matable.all
        If elem.tagname = "TD" Then elem.innerhtml = elem.innertext
        Next
        faire = .ParentWindow.clipboardData.SetData("text", matable.outerhtml)
        With Sheets(1)
            Set cel = .Cells(Rows.Count, 1).End(xlUp).Offset(2, 0)
            cel.Select
            .Paste:
        End With
        faire = .ParentWindow.clipboardData.ClearData("text")
 End With
End Sub

[patricktoulon]

re
j'ai oublié de préciser que le paramétrage de la requête est unique pour chaque cite il te faudra utiliser l'espion f12 de IE ou celui de Firefox pour le connaitre
un détail aussi important !!!!!!
dans cette ligne tu constate que je prend un cookie
ReQ.setRequestHeader "Cookie", " JSESSIONID=3E554B80B1ABBC36A2C53EC91C219C77.raoul_1;"

en fait dans la requête il y en a plusieurs mais si j'en accepte pas au moins un!!! j'ai le message forbeden:!!!!
tout les cookies sont séparés par un point virgule c'est assez facile de récupérer le code pour un!!!
voici une capture d'écran de l'espion f12 de IE tu reconnaitra les éléments du header de la requête qui sont en bleu dans mon code

Bonne BUCHE!!!!