Discussion :

[Marc-L]

Patrick, je n'aurais pas besoin du nombre de pages en comparant la plage affichée avec le nombre total d'éléments …

Sinon via l'outil d'inspection de Firefox, l'URL de la requête après un clic sur le bouton Next
comporte un paramètre formKey : à quoi correspond son contenu et est-il variable ?

Et si le site exploite le contrôle de cookies, cela pourrait être mort !

Il y a pleins de paramètres dans la requête et sont donc exploitables
mais faut-il encore que je retrouve comment les lui passer … Normalement c'est dans le Send ou via une cURL …

Stéphane, une idée ?

[patricktoulon]

merci kiki29 pour le tuyau

en attendant mieux voila une version simple avec ie qui charge le code outerhtml de toute les tables dansle presse papier et les colle dans le sheets

c'est long je sais mais faute de mieux pour le moment
coller ca dans un nouveau module du fichier allequities 1.02

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
Sub test1()
    Dim IE As Object, nbitem As Object, nbpage As Long
    Set IE = CreateObject("internetexplorer.application")  'instancie l'object
    URL = "https://www.euronext.com/fr/equities-directory"
    IE.navigate URL
    IE.Visible = True
    Do: DoEvents: Loop Until IE.readyState = 4 And IE.busy <> 4
    Set iedoc = IE.document
    Set nbitem = IE.document.getelementbyid("stocks-data-table_info")
    Do: Loop Until nbitem.innerhtml <> ""
    nbpage = Round(Val(Replace(nbitem.Children(1).innerhtml, ",", "")) / 20)
    'MsgBox "il y a  :" & nbpage & " pages"
    Set boutonnext = iedoc.getelementbyid("stocks-data-table_next")
    Set mestables = iedoc.getElementsByTagName("table")
    Set oldfirstcel = mestables(1).Children(1).Children(0)
    code = code & "<table>" & mestables(1).Children(1).outerhtml & "</table><br>"
 
    For i = 1 To nbpage
        boutonnext.Click
        Do: DoEvents: Loop Until IE.readyState = 4 And IE.busy <> 4
        Set mestables = iedoc.getElementsByTagName("table")
        Do: DoEvents: Loop Until mestables(1).Children(1).Children(0).innertext <> oldfirstcel.innertext
        code = code & "<table>" & mestables(1).Children(1).outerhtml & "</table><br>"
        Set oldfirstcel = mestables(1).Children(1).Children(0)
Sheets(1).CommandButton1.Caption = "page " & i & "  chargée"
    Next
    Set memo = CreateObject("htmlfile")
    With memo
        faire = .ParentWindow.clipboardData.SetData("text", code)
        With Sheets(1): .Range("A2:A" & Rows.Count).Clear: .Cells(2, 1).Select: .Paste: End With
        faire = .ParentWindow.clipboardData.ClearData("text")
    End With
Sheets(1).CommandButton1.Caption = "telechargement terminé"
End Sub

puré c'est coton
marc si tu veux y ajouter ta marque te gène pas

[patricktoulon]

dans l'inpecteur IE(f12)
voila le header de la reqete

Clé Valeur
Demande POST /pd/stocks/data?formKey=nyx_pd_filter_values:1006ef55d4998cc0fad71db6a6f38530 HTTP/1.1
x-requested-with XMLHttpRequest
Accept-Language fr
Referer https://www.euronext.com/fr/equities-directory
Accept application/json, text/javascript, */*
Content-Type application/x-www-form-urlencoded
Accept-Encoding gzip, deflate
User-Agent Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)
Host www.euronext.com
Content-Length 230
DNT 1
Connection Keep-Alive
Cache-Control no-cache
Cookie __utmc=42729265; __utma=42729265.41989483.1414748803.1414748803.1414750681.2; __utmb=42729265.51.10.1414750681; __utmz=42729265.1414748803.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); ZDEDebuggerPresent=php,phtml,php3; SpryMedia_DataTables_order-book-data-table_quotes={"iCreate":1414759917432,"iStart":0,"iEnd":10,"iLength":10,"sFilter":"","sFilterEsc":true,"aaSorting":[],"aaSearchCols":[["",true],["",true],["",true],["",true],["",true],["",true],["",true]],"abVisCols":[true,true,true,true,true,true,true]}; SpryMedia_DataTables_order-book-data-table_fr0000120404-xpar={"iCreate":1414759928510,"iStart":0,"iEnd":10,"iLength":10,"sFilter":"","sFilterEsc":true,"aaSorting":[],"aaSearchCols":[["",true],["",true],["",true],["",true],["",true],["",true],["",true]],"abVisCols":[true,true,true,true,true,true,true]}

et voila le corps de la demande

sEcho=4&iColumns=7&sColumns=&iDisplayStart=0&iDisplayLength=20&iSortingCols=1&iSortCol_0=0&sSortDir_0=asc&bSortable_0=true&bSortable_1=false&bSortable_2=false&bSortable_3=false&bSortable_4=false&bSortable_5=false&bSortable_6=false

[Marc-L]

marc si tu veux y ajouter ta marque te gène pas

Je ne pourrais pas m'y consacrer sérieusement avant dimanche au mieux …

De tout manière, le résultat sera tout aussi long que le tien, IE oblige !
Cela sera juste pour le sport et puis au moins je saurais de quoi il est question …

[Qwazerty]

Salut

Humm il semblerait que ce soit juste l'URL qui ait changée

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
    Set DemandeFichier = CreateObject("Microsoft.XMLHTTP")  'instancie l'object
    URL = "https://www.euronext.com/pd/stocks/data?formKey=nyx_pd_filter_values:cddaabb01525e7a66f50cd7f51ece3dd"
    'On génère la 1 ere requête afin d'obtenir les 20  1ere ligne ainsi que le nombre de page
    DemandeFichier.Open "POST", URL, False
    DemandeFichier.setRequestHeader "Accept", "application/json, text/javascript, */*"
    DemandeFichier.setRequestHeader "Accept-Encoding", "gzip , deflate"
    DemandeFichier.setRequestHeader "Content-Type", "application/x-www-form-urlencoded; charset=UTF-8"  'Ajouté
    DemandeFichier.setRequestHeader "Content-Length", "231"  'Ajouté
    DemandeFichier.setRequestHeader "Cache-Control", "no-cache"  'Ajouté
    DemandeFichier.setRequestHeader "Accept-Language", "fr,fr-fr;q=0.8,en-us;q=0.5,en;q=0.3"
    DemandeFichier.setRequestHeader "Connection", "keep-alive"    'Modifié, espace retiré "keep -alive"
    DemandeFichier.setRequestHeader "Host", "europeanequities.nyx.com"
    DemandeFichier.setRequestHeader "Pragma", "no-cache"  'Ajouté
    DemandeFichier.setRequestHeader "Referer", "https://www.euronext.com/pd/stocks"
    DemandeFichier.setRequestHeader "User-Agent", "Mozilla/5.0 (Windows NT 6.0; rv:29.0) Gecko/20100101 Firefox/29.0"
    'on envoie la requete avec un idisplaystart= a 0
    DemandeFichier.send "sEcho=2&iColumns=7&sColumns=&iDisplayStart=60&iDisplayLength=20&iSortingCols=1&iSortCol_0=0&sSortDir_0=asc&bSortable_0=true&bSortable_1=false&bSortable_2=false&bSortable_3=false&bSortable_4=false&bSortable_5=false&bSortable_6=false"

++
Qwaz

[patricktoulon]

bonjour Stephane

comment a tu fait pour trouver cette nouvelle adresse
chez moi comme sur la capture d'écran ca ne change pas

[Qwazerty]

Salut

Je ne comprends pas, regarde sur ton écran l'adresse du serveur est "euronext.com" alors que dans le code c'est "https://europeanequities.nyx.com/pd/stocks/data".

++
Qwaz

[patricktoulon]

Re
l'ancienne url était celle ci

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

 URL = https://europeanequities.nyx.com/pd/stocks/data?formKey=nyx_pd_filter_values:1006ef55d4998cc0fad71db6a6f38530

la nouvelle celle que tu a donné est celle ci

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

URL = "https://www.euronext.com/pd/stocks/data?formKey=nyx_pd_filter_values:cddaabb01525e7a66f50cd7f51ece3dd"

si je passe par ie manuellement par Euronext.com et que je vais a equities en activant la capture de l'inspecteur je retombe bien sur l'ancienne url


Edit :je viens d'essayé ta requête avec un simple msgbox pour le responsetext et voila le message qui m'est retourné

[Marc-L]

Merci Stéphane !

En fait le Send correspond à l'adresse cURL fourni par l'inspecteur de Firefox …

[patricktoulon]

re
d'accord
quelqu'un peut m'expliquer comment en ouvrant une fenêtre internet en allant sur Euronext /equities etc.....(bref la pages des cote sur la quelle on travaille depuis des mois )
je n'ai que l'ancienne url dans la requête il y a que la "host" qui a changé

la j'avoue que je suis perplexe

donc je repose ma question plus clairement
Comment avec une fenêtre IE et l'inspecteur(F12)avec la capture enclenché en arrivant sur la dite page et que je regarde le résultat de la capture j'ai le même header de la requête qu'avant ( même url et même argument dans le send )

si je suis pas clair dites le moi

EDIT: en plus de ca le site n'est plus accessible de puis le début de l'après midi

[Qwazerty]

SAlut

Hum, soit ils font des essais/travaux entre deux serveurs, "europeanequities.nyx.com" et "euronext.com", soit il y a un système qui leur permet de basculer la charge de l'un vers l'autre en fonction de l'affluence? Ça n'est pas mon domaine.

Pour la clé du filtre ça n'a aucune importance. Elle change entre les deux serveurs mais elle est unique au sein d'un serveur.

Si le chargement ne nous amène pas toujours sur le même serveur, il va falloir tenir compte de l'URL racine pour adapter la requête... faut voir si le phénomène continu après le weekend, ils bossent peut-être dessus pendant que les bourses sont fermées !

++
Qwaz

[patricktoulon]

Bonjour a tous
stephane: l'url que tu avais trouvé nous envoyait vers le cours international d'Euronext il prenait les données sur NYSE Euronext

c'est pour ca que l'on se retrouvait avec 115 pages au lieu de 73 avec quelques instance du vbs qui plantait (structure de fichier retourné un peu différents)

depuis ce matin le site est a nouveau libre alors j'ai pu fouiller

le formkey.value n'a pas changé en fait comme tu l'a dit précédemment on est passer de Euronext.nix.com a Euronext.com

le header de la requête a été un peu modifié au niveau des url du host et de l'user agent
donc une requete accepté est comme celle ci:

comme tu peut le voir "formKey=nyx_pd_filter_values:1006ef55d4998cc0fad71db6a6f38530"" reste inchangé

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
 
Set DemandeFichier = CreateObject("Microsoft.XMLHTTP")  'instancie l'object
    URL = "https://euronext.com/pd/stocks/data?formKey=nyx_pd_filter_values:1006ef55d4998cc0fad71db6a6f38530"
    'On génère la 1 ere requête afin d'obtenir les 20  1ere ligne ainsi que le nombre de page
    DemandeFichier.Open "POST", URL, False
    DemandeFichier.setRequestHeader "x-requested-with", "XMLHttpRequest"
    DemandeFichier.setRequestHeader "Accept-Language", "fr"
    DemandeFichier.setRequestHeader "Referer", "https://www.euronext.com/fr/equities-directory"
    DemandeFichier.setRequestHeader "Accept", "application/json, text/javascript, */*"
    DemandeFichier.setRequestHeader "Content-Type", "application/x-www-form-urlencoded"
    DemandeFichier.setRequestHeader "Accept-Encoding", "gzip, deflate"
    DemandeFichier.setRequestHeader "User-Agent", "Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)"
    DemandeFichier.setRequestHeader "Host", "www.euronext.com"
    DemandeFichier.setRequestHeader "Content-Length", "230"
    DemandeFichier.setRequestHeader "DNT", "1"
    DemandeFichier.setRequestHeader "Connection", "Keep - Alive"
    DemandeFichier.setRequestHeader "Cache-Control", "no-cache"
   'on envoie la requete avec un idisplaystart= a 0
    DemandeFichier.send "sEcho=3&iColumns=7&sColumns=&iDisplayStart=0&iDisplayLength=20&iSortingCols=1&iSortCol_0=0&sSortDir_0=asc&bSortable_0=true&bSortable_1=false&bSortable_2=false&bSortable_3=false&bSortable_4=false&bSortable_5=false&bSortable_6=false"
      ' on détermine le nombre de page a télécharger en récupérant le iTotalRecords dans la première page et en divisant par 20
    NBPAGES = Round(Val(Split(Split(DemandeFichier.responsetext, "iTotalRecords"":")(1), ",")(0)) / 20)

je l'ai modifié aussi dans la création du vbs

voila la nouvelle version 1.3
Max si tu passe par la récupère le nouveau fichier l'ancien ne fonctionnera plus

EDIT:
Il semblerait aussi que le site n'aime pas trop ca je l'ai fait trois fois et la 4eme il tourne en boucle sans erreur
sinon 23 secondes pour tout rapatrier c'est correcte pour moi

[patricktoulon]

rebonjour a tous

comme dans le v 1.3 j'avais laisser le module avec utilisation de l'object IE
j'ai penser m'en servir en mode depanage

en effet si la requete avec l'object xmlhttp n'aboutie pas j'ai modifier le module IE pour avoir le meme resultat
c'est plus long je vous l'accorde
Mais a deux maux le moins pire est le meilleur

alors effectivement quand on utilise l'object IE on se rend compte que les td sont bardé de li,de A et plein d'autre balises qui nous sont inutile dans ce cas

j'ai donc fait une fonction qui réécrit le code html dans une table (tr:td) de chaque pages par la fonction "code_restructuré"

j'utilise le clipboard d'un htmldocument en mémoire

pour la mise en forme des cellules je n'utilise plus le sheetschange mais un code css directement intégré dans le code html dynamique par la fonction "lestyle"
avec le .paste on copie non seulement les données mais aussi le style

il y a donc maintenant 2 boutons
1 pour lancer la ruche (plusieurs instances du vbs unique)
2 pour lancer IE

ca permet de ne pas être obligé de retailler le code tout de suite si il y a un plantage sur une solution ou l'autre

voila qu'en penser vous ??

hou lala ...j'ai bien bosser moi ,je vais prendre un café
a +

EDIT: histoire de faire propre j'ai ajouté le centrage du texte dans le css pour les TD

Code css :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
Function lestyle() As String
lestyle = lestyle & "<html>" & vbCrLf & "<head>" & vbCrLf
lestyle = lestyle & "<style type=""text/css"">" & vbCrLf
lestyle = lestyle & "td{background:#A9D0F5;border: solid 1px black;text-align:center;}" & vbCrLf
lestyle = lestyle & "<style>" & vbCrLf
lestyle = lestyle & "</head>"
End Function

[itwoo]

Bonjour,

Désolé c'est de ma faute j'aurais du vous avertir que l'adresse était parfois modifiée (en fait au départ c'était euronext.com)
C'est Qwaz qui doit être prêt de la réalité , il y a maintenance les WE et aussi plusieurs serveurs de sauvegarde...plus versions francaise et étrangére (mais les cours ne changent pas)

Normalement en faisant cela sur l’URL dans la requête ca marche (Firefox et F12):
'ATTENTION CHANGEMENT D'URL EN EURONEXT
'URL = "https://europeanequities.nyx.com/pd/stocks/data?formKey=nyx_pd_filter_values:1006ef55d4998cc0fad71db6a6f38530"
URL = https://www.euronext.com/pd/stocks/d...d71db6a6f38530

Bien je vais regarder vos versions nouvelles et voir toute l'évolution car il semble que Pat aie résolue la question du post #252...

Si tu as réussi Pat alors CHAPEAU

Bonne journée

[itwoo]

Bonjour,

Qwaz sur la version d'avant ce week end all_equities v1.02 et bien en effet il y a en plus de l'erreur parfois de retour du script sans les data, l'erreur que tu soulignes...à savoir que par exemple le script n°63 est bien écrit avec la string et le tablo2 dans reponse n°63 mais par contre il ne s'affiche pas sur la page excel...donc il faut mettre en partage le fichier excel (faut que je lise tout ca pour voir comment on fait et tout votre travail du WE...

Merci kiki29 pour l'info c'est noté

@+

[patricktoulon]

Bonjour a tous

itwoo laisse littéralement tomber la version 1.0.2 non seulement l'url n'est plus bonne mais le header aussi
ce qui implique que la modification a eu lieu même sur le code vbs dynamique

prend plutôt la version 1.4

c'est la même chose avec url et header a jour
et en plus si encore une fois cela arrive t'aura un 2eme bouton pour tenter la récupération en mode IE

que veux tu de plus ??

pour la verif

je suis en train de chercher un moyen intégrable a Mon code car Stéphane avait raison c'est bien l'occupation du fichier par un vbs précèdent qui nuit au vbs suivant j'ai contrôlé

pour le moment j'ai simplement ajouter un control en fin de boucle vba pour recommencer si cellules vide mais c'est pas top alors je cherche et je trouverais

[Qwazerty]

Salut

Donc si c'est bien un problème d'accès, il serait peut-être bon de regarder du coté des ADO, en utilisant une connexion ADO au fichier excel à partir du VBS.
Je pense qu'il serait possible de paramétrer un mode optimiste qui ne verrouillerait pas le fichier excel lors des accès, ça ne devrait pas poser de problème étant donné que chaque VBS inscrit ses données dans des cellule distinctes des autres vbs.

Bon courage
++
Qwaz

[patricktoulon]

salut stephane

pas bête du tout je n'y avais vraiment pas penser

une connexion ADO sur le fichier excel a partir du vbs qui contrôlerait le résultat du vbs précédent en théorie mais il y a un MAIS!!!!

il se trouve que les requêtes vbs n'ont pas toute la même durée effectivement selon les pages c'est plus ou moins long
on devrait alors gérer un problème de temps ce qui a pu être évité justement en passant par une requête

je suis en train de chercher vers un autre chemin
Marc il a ses abeilles moi j'ai mon écureuil

[itwoo]

Bonjour,

Juste pour résumer trés briévement avant de continuer les versions suivantes voici la situation jusqu'à la version 1.02 (incluses) et les petites erreurs rencontrées (mais globalement tout marche ce qui est formidable):

toutes les anciennes versions fonctionnent en changeant juste europeanequities.nyx. en euronext dans l'URL donc tout votre travail est toujours valable

Mais les problémes rencontrés sont les suivants (je ne sais pas s'ils ont tous la même origine, excel non partagé, probléme serveur, script...):

*parfois excel n'affiche pas les datas car partage excel non effectué

*parfois il n'y a pas de retour des datas du tout car un (plusieurs) des scripts vbs au hasard flanche et renvoie le message

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

{"sEcho":"5","iTotalRecords":null,"iTotalDisplayRecords":null,"aaData":[],"error":true}

*parfois il y a affichage des datas mais sur fond blanc (surement un petit réglage sur la sub cadre)c'est un détail

Voilà c'était juste pour faire un petit point avant de passer aux versions suivantes (finir les posts), et découvrir comment procéder pour régler tout ca...

A bientôt et merci pour votre aide

[patricktoulon]

essai la 1.4!!!!!!