Export de données différentes avec chaine url de requete identique et url variable

Version imprimable

Voir 40 message(s) de cette discussion en une page

19/02/2017, 18h38
davido84

mercatog,

Citation:

Pour te simplifier la compréhension, oubli internet explorer...

depuis le début je ne tiens pas compte d'internet explorer puisque je ne teste que via des requêtes, donc sans activer IE.

Citation:

Voilà et merci de ne pas essayer d'expliquer des évidences

Désolé mais je ne sais pas ce qui pour toi serait ou non des "évidences" parce que pour moi je ne vois pas où est le problème donc je vais tester ton code mais j'aimerais que tu m'expliques cette partie de ta requête

Citation:

&search=" & i

Quel intérêt ? Dans quel but ?

A+
19/02/2017, 19h24
davido84

Citation:

As tu une explication à la reponse différente de la requête xmlhttp d'une même url lancée juste après lancement d'IE sur le même site?

Si la requête dont tu parles est celle contenant

Citation:

&search=" & i

il n'y a rien d'anormal : la requête étant différente les résultats ramenés sont donc différents.

Citation:

lorsqu'une session IE est ouverte, il y a certainement des cookies et des headers validant le "bien fondé" de la demande.
Lorsqu'une requête est codée en VBA si certains imposés sont oubliés le résultat peut être nul ou différent …

Dans le cas présent je ne pense pas que ce soit le soucis. J'ai testé en définissant les headers et cela n'a apparemment pas d'incidence.
Pour moi les requêtes fonctionnent normalement.

A+
19/02/2017, 19h52
mercatog

Oui elles fonctionnent normalement, mais je cherche le lien entre elles.

Citation:

Req1 et Req2 sont indépendantes (dans le code en apparence) mais Req2 télécharge LE fichier correspondant à l'action injectée dans Req1. Dans l'url de Req2 aucunement il n 'y à de référence à une action particulière

Quel est le lien en Req1 et Req2?
19/02/2017, 22h08
davido84

Citation:

Quel est le lien en Req1 et Req2?

Comme déjà précisé dans mon message #18 : pour moi il n'y en a pas.

Les deux requêtes sont indépendantes l'une de l'autre :
- Req1 accède au site et met à jour les données
- Req2 accède au site et télécharge le fichier.

Les deux accèdent au site, mais ensuite elles ne font pas la même chose.

Si le but est uniquement de télécharger le fichier issu soit des paramétrages de dates de début et de fin par défaut, soit des paramétrages de dates de début et de fin de la dernière mise à jour lancée sur le site (celle enregistrée dans le cache via les paramètres de ton navigateur), Req2 suffit.

Si le but est uniquement de modifier les dates de début et de fin et de lancer une mise à jour des données Req1 suffit.

Si le but est de modifier les dates de début et de fin, de lancer une mise à jour des données et de télécharger le fichier contenant les données il faut lancer Req1 puis Req2.

A+
19/02/2017, 22h19
mercatog

On tourne en rond en plus de dialogue de sourds

Citation:

celle enregistrée dans le cache via les paramètres de ton navigateur

Tu peux développer

Citation:

Si le but est de modifier les dates de début et de fin, de lancer une mise à jour des données et de télécharger le fichier contenant les données il faut lancer Req1 puis Req2

On sait ça, rien de nouveau. On peut modifier aussi l'indice interne de l'Action ou de l'entreprise à visualiser. D'où le "...search & i

Je cherche depuis hier le POURQUOI de la chose

Deux requêtes xmlhttp en apparence indépendantes mais en fait quelque part ne le sont pas puisque la seconde utilise quelque chose issu de la première (cache ou cookies ou je ne sais quoi)

J'ai essayé de placer un stop dans le code entre les 2 requêtes et de vider le cache manuellement et supprimer les cookies ensuite relancer le code. Et bien le fichier adéquat est téléchargé.
21/02/2017, 16h53
davido84

J'ai effectué le test suivant : je prends deux ordinateurs différents et les connecte tous les deux aux site

Citation:

http://www.swapsinfo.org/charts/swap...-risk-activity

Je précise que le fichier Excel comprenant la macro ImportAllData (dans laquelle j'ai simplement enlevé la boucle et viré la variable i du search) est uniquement sur l'ordinateur 1.

Sur l'ordinateur 1 je lance une première fois Req1 + Req2 en définissant une date de début et une date de fin => je récupère les bonnes données.

Puis, toujours sur l'ordinateur 1 je lance une deuxième une requête, mais cette fois uniquement Req2, celle qui lance l'URL liée uniquement au bouton

Citation:

http://www.swapsinfo.org/download/in...isk%20Activity

=> je récupère les mêmes données (normal).

Puis je vais sur l'ordinateur 2, modifie sur le site les dates de début et de fin et appuie sur le bouton Update Data.

Puis je reviens sur l'ordinateur 1 et lance une nouvelle fois uniquement Req2 =>je récupère les nouvelles données mises à jour par l'ordinateur 1.

Par acquis de conscience j'ai refait ce test après avoir effacé les fichiers Internet temporaires stockés sur le disque dur de l'ordinateur 1 : même résultat.

Je pense donc que dans le cas présent :
- la requête lancée via la macro et utilisant l'objet XmlHttpRequest n'utilise pas ces fichiers temporaires, même avec la méthode GET. Peut-être utilise-t-elle d'autres fichiers placés ailleurs (dans le cache du site, du serveur, ou je ne sais où).
- Req2 récupère le fichier contenant les données issues de la dernière mise à jour effectuée sur le site (le fait, lors d'essais précédents, d'avoir récupéré via Req2 des données issues de dates que je n'avais jamais utilisées peuvent s'expliquer).

Pour ma part je pense toujours que ces deux requêtes sont indépendantes, même si je n'en ai pas la preuve tangible. Ceci dit il y a 2 boutons de commande (Update data et Export data) qui font donc 2 actions différentes et chacun est lié à une URL spécifique.

Dernier point : parmi les fichiers temporaires, il y a un fichier javascript nommé analytics.js où l'on retrouve des fonctions utilisant l'objet HttpRequest : peut-être que son étude pourrait apporter des précisions sur le fait que les deux requêtes sont ou non liées.

Citation:

J'ai essayé de placer un stop dans le code entre les 2 requêtes et de vider le cache manuellement et supprimer les cookies ensuite relancer le code. Et bien le fichier adéquat est téléchargé.

Idem de mon côté et au vu de ces résultats cela me paraît logique.

A+
23/02/2017, 12h43
mercatog

Merci davido pour ce test

En fait tu changeais les dates de début et de fin. les données pour une action i changent peu

As tu pu tester en laissant la boucle sur i disons de 1 à 4 avec des dates fixes. On aura 4 feuilles pour les 4 actions de la boucle.

En fait le Search" & i permet de boucler sur toutes les actions. Chaque action à un nom (nom de l'entreprise) et in indice qui est un entier entre 1 et ...
25/02/2017, 09h40
davido84

Citation:

En fait tu changeais les dates de début et de fin

Si tu parles de mon dernier test, effectivement et cela m'a permis de vérifier que Req2 lancée seule ne fait que télécharger les données correspondant à la dernière mise à jour faite sur le site par n'importe quel internaute.
C'est pour cela que je pense que les 2 requêtes sont indépendantes.
Le fait de modifier les dates sur l'ordinateur 1 directement sur le site puis de lancer uniquement Req2 sur l'ordinateur 2 et de récupérer les données correspondant aux dates modifiées sur l'ordinateur 1 quelques secondes avant le montre il me semble.

Donc les fichiers temporaires enregistrés sur le disque dur n'ont rien à voir là-dedans.

Citation:

As tu pu tester en laissant la boucle sur i disons de 1 à 4 avec des dates fixes. On aura 4 feuilles pour les 4 actions de la boucle.

Cela je l'avais testé dès le départ et effectivement les 4 actions ramènent 4 résultats différents.

Par contre, il y a quelque chose que je ne comprends pas avec cette boucle : personnellement j'avais crû comprendre que la variable i du search renseignait la zone de texte "search" via un indice.
Or, quand tu la renseignes manuellement (tu rentres 1 par exemple) et que tu appuies sur Update Data :
1) la requête récupérée dans l'inspecteur du document ne fait pas état d'une valeur placée dans search "&search=&type=&...", ce qui pour moi n'est pas logique.
2) Si tu télécharges les données à la suite de la mise à jour, que tu relances manuellement une nouvelle mise à jour (avec l'indice 2 inscrite dans la zone de texte Search) et que tu télécharges les données, celles-ci sont les mêmes (ce qui me paraît logique puisque, encore une fois, search n'est pas renseignée dans la requête).

Par contre, si tu lances la Sub ImportAllData avec Req1+Req2, les résultats ramenés à chaque bouches sont différents...il y a un truc qui m'échappe.

A+
25/02/2017, 10h18
mercatog

Bonjour davido
Non l'indice n'est pas directement renseignée dans la zone search. On y inscrit le nom de l' entreprise (Action). Quand on fait update, l'url change on y insérant un indice dans "...search"&i
Voilà le pourquoi Req1 ou même à la place on travaille avec IE (code plus haut).

Ça m'étonnerait si les données importées dépdndraient de la dernière recherche de n'importe quel internaute.

Question d'IP?
25/02/2017, 10h36
davido84

Citation:

Question d'IP?

c'est possible mais je me souviens avoir récupéré des données avec des dates que je n'avais pas utilisées et en ne lançant que Req2.
Pour en être sûr il faudrait faire la manip en Tchat (un qui lance un Update sur le site après avoir modifié les dates et qui prévient l'autre qui lance immédiatement la Sub uniquement avec Req2).
A l'occasion je testerai avec quelqu'un.
A+
03/03/2017, 16h02
mercatog

Bonjour davido84

As tu fais le test simultané sur 2 postes différents

Voir 40 message(s) de cette discussion en une page