Export de données différentes avec chaine url de requete identique et url variable

Version imprimable

Hello,

Voici mon souci : je dois extraire des données puis les copier sur un classeur. L'extract est un .csv et voici le code :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 Sub test() Dim IE As Object, Choix As Object Dim S As String Dim i As Integer Dim nbnoms As Integer Dim InputISDABouton As HTMLInputElement Set IE = CreateObject("InternetExplorer.Application") IE.Visible = True nbnoms = Cells(3, 5).Rows.Count For i = 4 To 5 DoEvents IE.navigate "http://www.swapsinfo.org/charts/swaps/market-risk-activity?date_start=2015-01-01&date_end=2017-02-15&products=snre%2Cindex&suggest=&search=" & Workbooks("cds liquidity.xlsm").Sheets(7).Cells(i + 2, 6) & "&type=&submit=Update+Data" Do Until IE.readyState = 4 DoEvents Loop Set IEdoc = IE.document Set InputISDABouton = IEdoc.all("export-data") InputISDABouton.Click IEdoc.Focus Application.Wait Now + TimeValue("0:0:2") Application.SendKeys "%{O}" For Each Wb In Workbooks If Right(Wb.Name, 4) = ".csv" Then Wb.Activate End If Next Sheets(1).Select Columns("A:A").Select Selection.TextToColumns Destination:=Range("A1"), DataType:=xlDelimited, _ TextQualifier:=xlDoubleQuote, ConsecutiveDelimiter:=False, Tab:=True, _ Semicolon:=False, Comma:=True, Space:=False, Other:=False, FieldInfo _ :=Array(Array(1, 1), Array(2, 1), Array(3, 1)), TrailingMinusNumbers:=True Columns("A:C").Select Selection.Copy Application.DisplayAlerts = False ActiveWorkbook.Close Save = False Workbooks("cds liquidity.xlsm").Activate Sheets("calculs").Select Columns("A:C").Clear Range("A1").Select ActiveSheet.Paste Range("K2:Y2").Select Selection.Copy Sheets("main").Select Cells(2 + i, 3).Select ActiveSheet.Paste Next i Set IE = Nothing Set IEdoc = Nothing End Sub
Je n'arrive pas a comprendre pourquoi juste après la demande d'export (et donc l'ouverture supposée du CSV) le csv s'ouvre apres le debug. Mais si je mets un point d'arrêt juste apres la commande Application.SendKeys "%{O}" et que je relance le reste de la macro ensuite tout se passe bien...

J'ai essayé les sleep, wait now + .. et tout ce qui peut me faire gagner du temps, ça n'a aucun effet. je suis vraiment perdu sur ce coup... j'imagine que c'est la commande sendkey qui provoque ça mais je n'arrive pas à résoudre ce souci.

Si quelqu'un voit une solution il est le bienvenu :)

Le csv est le dernier classeur dans la collection workbooks

Il faudra laisser une tempo de téléchargement du csv
Code:

1 2 3 4 5 Application.Wait Now + TimeValue("0:0:2") Application.SendKeys "%{O}" Application.Wait Now + TimeValue("0:0:5") Set Wbk = Workbooks(Workbooks.Count)

16/02/2017, 19h08
alexvbad

Salut mercatog, merci pour la réponse mais même avec 10sec ca ne change rien (et ca m'enlève aussi le verr num je ne sais pas pourquoi).

Pour verr num c'est connu à cause des sendkeys

Sinon une alternative en gymnastique ( je ne sais pas si c'est une question de cookies)
J'ouvre la page correspondant à l'action X dans Internet Explorer, ensuite je fais une requête par xmlhttp

J'attendrai entre autre Qwazerty, Marc-L ouPatricktoulon pour une piste du pourquoi

Fais des tests chez toi

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
Option Explicit
 
Sub MesTelechargements()
Dim DD As String, DF As String, Url As String
Dim i As Integer, N As Integer
Dim IE As Object
 
N = 6
DD = Format(DateSerial(2015, 1, 1), "yyyy-mm-dd")
DF = Format(Now, "yyyy-mm-dd")
 
Set IE = CreateObject("InternetExplorer.Application")
IE.Visible = True
 
For i = 1 To N
    DoEvents
    Url = "http://www.swapsinfo.org/charts/swaps/market-risk-activity?date_start=" & DD
    Url = Url & "&date_end=" & DF & "&products=snre%2Cindex&suggest=&search="& i
    Url = Url & "&type=&submit=Update+Data"
 
    IE.navigate Url
    Do Until IE.readyState = 4
        DoEvents
    Loop
    Telecharge i
Next i
 
IE.Quit
Set IE = Nothing
End Sub
 
Private Sub Telecharge(ByVal Action As Integer)
Dim S As String, UrlTmp As String, MonFichier As String
Dim Req As Object
 
UrlTmp = "http://www.swapsinfo.org/download/index/cdaf3d57f0bc68356ecf58c4235a8311c10f5d91/CDS%20Market%20Risk%20Activity"
Set Req = CreateObject("microsoft.xmlhttp")
With Req
    .Open "GET", UrlTmp, False
    .Send
    S = .Responsetext
End With
Set Req = Nothing
 
MonFichier = ThisWorkbook.Path & "\Data_" & Action & ".csv"
Open MonFichier For Output As #1
Print #1, S
Close #1
End Sub

16/02/2017, 22h49
alexvbad
Citation:
Envoyé par mercatog

Le csv est le dernier classeur dans la collection workbooks

Il faudra laisser une tempo de téléchargement du csv

Code:

1 2 3 4 5 Application.Wait Now + TimeValue("0:0:2") Application.SendKeys "%{O}" Application.Wait Now + TimeValue("0:0:5") Set Wbk = Workbooks(Workbooks.Count)
Ok je vais essayer de tester ça

En revanche je réalise que j'ai mal formulé mon problème : En fait le classeur csv ne s'ouvre que si il y a debuggage (car avant il sélectionne mon classeur natif et me demande s'il peut écraser certaines valeurs, j'appuie alors sur annuler puis débogage et à ce moment la le csv se lance. Si je n'appuie pas sur annuler le code continue mais trop tard le code travaille sur l'autre classeur) ou, si je mets un point d'arrêt ligne 38, je lance (le csv se lance) et puis je lance apres la suite ligne 38 et la bizarrement le travail est fait sur le csv.

Pour directement insérer les données dans le fichier en cours en ajoutant une feuille par action

J'ai ajouté un test car même si une requête aucune donnée n'est disponible pour une action donnée, le fichier de la dernière action est téléchargé

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
Option Explicit
 
Sub ImportAllData()
Dim DD As String, DF As String, S As String, ReqUrl As String, IeUrl As String
Dim IE As Object, Req As Object
Dim i As Integer, N As Integer
Dim Tb
 
Application.ScreenUpdating = False
N = 6
DD = Format(DateSerial(2015, 1, 1), "yyyy-mm-dd")
DF = Format(Now, "yyyy-mm-dd")
 
ReqUrl = "http://www.swapsinfo.org/download/index/cdaf3d57f0bc68356ecf58c4235a8311c10f5d91/CDS%20Market%20Risk%20Activity"
 
Set Req = CreateObject("microsoft.xmlhttp")
Set IE = CreateObject("InternetExplorer.Application")
IE.Visible = True
 
For i = 1 To N
    DoEvents
    IeUrl = "http://www.swapsinfo.org/charts/swaps/market-risk-activity?date_start=" & DD
    IeUrl = IeUrl & "&date_end=" & DF & "&products=snre%2Cindex&suggest=&search=" & i
    IeUrl = IeUrl & "&type=&submit=Update+Data"
 
    IE.navigate IeUrl
    Do Until IE.readyState = 4:
        DoEvents
    Loop
 
    If InStr(IE.document.body.innertext, "No data was returned. Please modify your filter parameters.") = 0 Then
        With Req
            .Open "GET", ReqUrl, False
            .Send
            S = .Responsetext
        End With
 
        Tb = Split(S, vbLf)
 
        With ThisWorkbook
            With .Sheets.Add(After:=.Sheets(.Sheets.Count)).Cells(1, 1).Resize(UBound(Tb) + 1)
                .Value = Application.Transpose(Tb)
                .TextToColumns Destination:=.Cells(1, 1), DataType:=xlDelimited, Comma:=True, FieldInfo:=Array(Array(1, 5), Array(2, 1), Array(3, 1))
            End With
        End With
    End If
Next i
 
IE.Quit
Set IE = Nothing
Set Req = Nothing
End Sub

17/02/2017, 10h07
alexvbad
Citation:
Envoyé par mercatog

Code:

1 2 3 ReqUrl = "http://www.swapsinfo.org/download/index/cdaf3d57f0bc68356ecf58c4235a8311c10f5d91/CDS%20Market%20Risk%20Activity"
Juste les adresses générées par les csv export sont différentes et comportent des combinaisons de chiffres et de lettres, comment faire une boucle dessus ?
17/02/2017, 10h20
mercatog

As-tu testé?

Je n'ai pas encore d'explication mais la chaine cdaf3d57f0bc68356ecf58c4235a8311c10f5d91 est identique partout et en fonction de l'action X injectée dans l'url de IE le fichier téléchargé par la requête xmlhttp correspond bien à l'action X avec la même url de la requête.

Regarde le code source correspondant au bouton d'extraction

Citation:

<span class="button subdued none" id="export-data" style="display: inline;" data-title="CDS Market Risk Activity" data-export="cdaf3d57f0bc68356ecf58c4235a8311c10f5d91">Export Data</span>
17/02/2017, 11h05
alexvbad

Le code marche super, un grand merci à toi j'aimerais juste comprendre comment on obtient a chaque fois de nouvelles data alors que requrl est constant... Une fois la page IE chargée, l'adresse du bouton export est toujours la même ?

Je n'avais pas vu ta réponse, oui oui tout fonctionne c'est très pratique ces requetes XMLHTTP. D'accord donc requrl est la même partout.

Génial !

Dernière question : comment obtiens-tu cette adresse dans le code source de la page (html/js ?) ?

Oups désolé de ma question, je viens de voir que tu m'avais répondu. Tout est parfait, mille merci, pour le temps que tu as pu me consacrer, et ce que tu as pu m'apprendre, c'est très pratique.

Encore merci à toi :-)
17/02/2017, 11h30
mercatog

Citation:

Je n'ai pas encore d'explication mais la chaine cdaf3d57f0bc68356ecf58c4235a8311c10f5d91 est identique partout et en fonction de l'action X injectée dans l'url de IE le fichier téléchargé par la requête xmlhttp correspond bien à l'action X avec la même url de la requête.

Surtout ne ferme pas le sujet car je n'ai pas encore compris le pourquoi
Et si tu peux changer le titre du sujet pour qu'il soit plus explicit
17/02/2017, 12h04
alexvbad

Ca marche, je suis également intéressé de savoir pourquoi. Et cette fonction .reponsetext est vraiment intéressante.

Bonjour !

Citation:

Envoyé par mercatog

J'ai ajouté un test car même si une requête aucune donnée n'est disponible pour une action donnée, le fichier de la dernière action est téléchargé

Windows utilise le cache pour les requêtes de type "GET" …
Pour forcer une nouvelle lecture, il faut passer par du "POST" si le site le permet …

Exemple :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 Sub Demo() With CreateObject("Msxml2.XMLHTTP") .Open "POST", "http://www.swapsinfo.org/download/index/cdaf3d57f0bc68356ecf58c4235a8311c10f5d91/CDS%20Market%20Risk%20Activity", False .setRequestHeader "DNT", "1" On Error Resume Next .send On Error GoTo 0 If .Status <> 200 Then Beep: Debug.Print .Status; " " & .StatusText: Exit Sub VA = Split(.responseText, vbCrLf) End With ActiveSheet.UsedRange.Clear With Cells(1).Resize(UBound(VA) + 1) .Value = Application.Transpose(VA) .TextToColumns Comma:=True End With End Sub
_________________________________________________________________________________________________________
Je suis Paris, Istanbul, Berlin, Nice, Bruxelles, Charlie, …

18/02/2017, 00h38
mercatog

Bonsoir Marc.
As tu une explication à la reponse différente de la requête xmlhttp d'une même url lancée juste après lancement d'IE sur le même site?
18/02/2017, 10h18
davido84

Bonjour,

de mon côté je ne peux récupérer cette adresse qu'en passant par Internet Explorer ou Microsoft Edge, mais quand je passe par Chrome ou Firefox l'outil de développement ne me l'affiche pas.
Est-ce pareil de votre côté ?

@Mercatog :

Citation:

As tu une explication à la reponse différente de la requête xmlhttp d'une même url lancée juste après lancement d'IE sur le même site?

Je n'ai pas tout suivi mais je ne comprends pas ta question. Peux-tu développer ?
A+

Bon

Le même résultat est obtenu en faisant 2 requêtes xmlhttp successives:

La première en utilisant l'url de l'action (entreprise) désirée (url variable en fonction de l'entreprise)
La seconde en utilisant l'url fixe du bouton de téléchargement du fichier csv

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
Sub ImportAllData()
Dim DD As String, DF As String, S As String, CsvUrl As String, ActionUrl As String
Dim i As Integer, N As Integer
Dim Req As Object
Dim Tb
 
Application.ScreenUpdating = False
N = 20
DD = Format(DateSerial(2015, 1, 1), "yyyy-mm-dd")
DF = Format(Now, "yyyy-mm-dd")
 
CsvUrl = "http://www.swapsinfo.org/download/index/cdaf3d57f0bc68356ecf58c4235a8311c10f5d91/CDS%20Market%20Risk%20Activity"
Set Req = CreateObject("microsoft.xmlhttp")
 
For i = 1 To N
    DoEvents
    ActionUrl = "http://www.swapsinfo.org/charts/swaps/market-risk-activity?date_start=" & DD
    ActionUrl = ActionUrl & "&date_end=" & DF & "&products=snre%2Cindex&suggest=&search=" & i
    ActionUrl = ActionUrl & "&type=&submit=Update+Data"
 
    With Req
        .Open "GET", ActionUrl, False
        .Send
        S = .Responsetext
    End With
 
    If InStr(S, "No data was returned. Please modify your filter parameters.") = 0 Then
        With Req
            .Open "GET", CsvUrl, False
            .Send
            S = .Responsetext
        End With
 
        Tb = Split(S, vbLf)
 
        With ThisWorkbook
            With .Sheets.Add(After:=.Sheets(.Sheets.Count)).Cells(1, 1).Resize(UBound(Tb) + 1)
                .Value = Application.Transpose(Tb)
                .TextToColumns Destination:=.Cells(1, 1), DataType:=xlDelimited, Comma:=True, FieldInfo:=Array(Array(1, 5), Array(2, 1), Array(3, 1))
            End With
        End With
    End If
Next i
Set Req = Nothing
End Sub

19/02/2017, 09h01
davido84

Pourquoi

Citation:

&search=" & i

dans ActionUrl ?
Quand tu appuies plusieurs fois sur le bouton Update Data et que tu regardes la requête récupérée dans les outils de développement search reste non renseigné

Citation:

http://www.swapsinfo.org/charts/swap...ndex&suggest=&search=&type=&submit=Update+Data

donc pourquoi vouloir le faire ?
Si tu enlèves cela ta requête ramène les mêmes résultats 20 fois de suite.

A+

Edit : Search correspond à la zone de texte située juste au-dessus de Update Data. Je ne sais d'ailleurs pas avec quel type d'information la renseigner mais :
1) dans le cas présent il n'est pas utile de la renseigner
2) il me semble logique de penser que si tu la renseignes via la valeur de i ta requête n'est donc plus la même.
Donc je dirais a priori que ta requête fonctionne correctement et qu'à partir du moment ou la valeur de i n'est plus la même les résultats ramenés sont logiquement différents.
19/02/2017, 10h50
mercatog

Davido
Tu m'explique ce qui est clair.
Ma demande
- Quelle est la relation entre IE et la requête xmlhttp dans le 1er code?
- Quelle est la relation entre les 2 requêtes xmlhttp du dernier code (car elles sont à priori indépendantes)?

Dans les 2 cas, il y a transmission d'information entre IE et la requête de téléchargement et entre la requête de l'action i et la requête de téléchargement.

Marc a parlé d'une question de cache windows mais sans argumenter
19/02/2017, 14h54
davido84

Citation:

Tu m'explique ce qui est clair

Ah désolé mais comme je ne comprenais pas pourquoi tu utilisais

Citation:

&search=" & i

dans ta requête je pensais que ce n'était pas clair.

Citation:

Quelle est la relation entre les 2 requêtes xmlhttp du dernier code (car elles sont à priori indépendantes)?

Ben oui elles le sont puisque la première met à jour les données en fonction des dates de début et de fin et la seconde télécharge le fichier...qu'est-ce qui n'est pas clair pour toi ?

Quand j'effectue 3 tests successifs en n'utilisant que la requête liée au bouton:
1) je lance une 1ère requête => je télécharge les données de la requête par défaut du site.
2) je change les dates sans mettre à jour les données et je lance une 2ème requête => je télécharge les mêmes données que la requête précédente.
3) je mets à jour les données et je lance une 3ème requête => je télécharge les données actualisées.

Donc les deux requêtes sont bien indépendantes.

Si tu veux être sûr de télécharger les données correspondant à ta demande (dates de début et de fin particulières) il te faut donc les deux.

Mais peut-être n'ai-je pas à nouveau compris ta demande...

A+

davido

Citation:

Mais peut-être n'ai-je pas à nouveau compris ta demande...

Tout à fait

Pour te simplifier la compréhension, oubli internet explorer et teste ce code

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
 
Sub ImportAllData()
Dim DD As String, DF As String, S1 As String, S2 As String, CsvUrl As String, ActionUrl As String
Dim i As Integer, N As Integer
Dim Req1 As Object, Req2 As Object
Dim Tb
 
Application.ScreenUpdating = False
N = 3
DD = Format(DateSerial(2015, 1, 1), "yyyy-mm-dd")
DF = Format(Now, "yyyy-mm-dd")
 
CsvUrl = "http://www.swapsinfo.org/download/index/cdaf3d57f0bc68356ecf58c4235a8311c10f5d91/CDS%20Market%20Risk%20Activity"
Set Req2 = CreateObject("microsoft.xmlhttp")
 
Set Req1 = CreateObject("microsoft.xmlhttp")
 
For i = 1 To N
    DoEvents
    ActionUrl = "http://www.swapsinfo.org/charts/swaps/market-risk-activity?date_start=" & DD
    ActionUrl = ActionUrl & "&date_end=" & DF & "&products=snre%2Cindex&suggest=&search=" & i
    ActionUrl = ActionUrl & "&type=&submit=Update+Data"
 
    With Req1
        .Open "GET", ActionUrl, False    'ActionUrl: URL variable en fonction des dates DD et DF et de l'action i
        .Send
        S1 = .Responsetext
    End With
 
    If InStr(S1, "No data was returned. Please modify your filter parameters.") = 0 Then
        With Req2
            .Open "GET", CsvUrl, False    'CsvUrl: URL fixe de téléchargement du fichier csv
            .Send
            S2 = .Responsetext
        End With
 
        Tb = Split(S2, vbLf)
 
        With ThisWorkbook
            With .Sheets.Add(After:=.Sheets(.Sheets.Count)).Cells(1, 1).Resize(UBound(Tb) + 1)
                .Value = Application.Transpose(Tb)
                .TextToColumns Destination:=.Cells(1, 1), DataType:=xlDelimited, Comma:=True, FieldInfo:=Array(Array(1, 5), Array(2, 1), Array(3, 1))
            End With
        End With
    End If
Next i
Set Req1 = Nothing
Set Req2 = Nothing
End Sub

Req1 et Req2 sont indépendantes (dans le code en apparence) mais Req2 télécharge LE fichier correspondant à l'action injectée dans Req1. Dans l'url de Req2 aucunement il n 'y à de référence à une action particulière

Voilà et merci de ne pas essayer d'expliquer des évidences

19/02/2017, 18h31
Marc-L

Citation:

Envoyé par Marc-L

Windows utilise le cache pour les requêtes de type "GET" …
Pour forcer une nouvelle lecture, il faut passer par du "POST" si le site le permet …

Ceci concernait uniquement Msxml2 ! Pas ce souci avec WinHttp en "GET" donc vaut mieux utiliser WinHttp …

Citation:

Envoyé par mercatog

As tu une explication à la reponse différente de la requête xmlhttp d'une même url lancée juste après lancement d'IE sur le même site?

Si j'ai bien compris la question :
lorsqu'une session IE est ouverte, il y a certainement des cookies et des headers validant le "bien fondé" de la demande.
Lorsqu'une requête est codée en VBA si certains imposés sont oubliés le résultat peut être nul ou différent …
19/02/2017, 18h38
davido84

mercatog,

Citation:

Pour te simplifier la compréhension, oubli internet explorer...

depuis le début je ne tiens pas compte d'internet explorer puisque je ne teste que via des requêtes, donc sans activer IE.

Citation:

Voilà et merci de ne pas essayer d'expliquer des évidences

Désolé mais je ne sais pas ce qui pour toi serait ou non des "évidences" parce que pour moi je ne vois pas où est le problème donc je vais tester ton code mais j'aimerais que tu m'expliques cette partie de ta requête

Citation:

&search=" & i

Quel intérêt ? Dans quel but ?

A+
19/02/2017, 19h24
davido84

Citation:

As tu une explication à la reponse différente de la requête xmlhttp d'une même url lancée juste après lancement d'IE sur le même site?

Si la requête dont tu parles est celle contenant

Citation:

&search=" & i

il n'y a rien d'anormal : la requête étant différente les résultats ramenés sont donc différents.

Citation:

lorsqu'une session IE est ouverte, il y a certainement des cookies et des headers validant le "bien fondé" de la demande.
Lorsqu'une requête est codée en VBA si certains imposés sont oubliés le résultat peut être nul ou différent …

Dans le cas présent je ne pense pas que ce soit le soucis. J'ai testé en définissant les headers et cela n'a apparemment pas d'incidence.
Pour moi les requêtes fonctionnent normalement.

A+
19/02/2017, 19h52
mercatog

Oui elles fonctionnent normalement, mais je cherche le lien entre elles.

Citation:

Req1 et Req2 sont indépendantes (dans le code en apparence) mais Req2 télécharge LE fichier correspondant à l'action injectée dans Req1. Dans l'url de Req2 aucunement il n 'y à de référence à une action particulière

Quel est le lien en Req1 et Req2?
19/02/2017, 22h08
davido84

Citation:

Quel est le lien en Req1 et Req2?

Comme déjà précisé dans mon message #18 : pour moi il n'y en a pas.

Les deux requêtes sont indépendantes l'une de l'autre :
- Req1 accède au site et met à jour les données
- Req2 accède au site et télécharge le fichier.

Les deux accèdent au site, mais ensuite elles ne font pas la même chose.

Si le but est uniquement de télécharger le fichier issu soit des paramétrages de dates de début et de fin par défaut, soit des paramétrages de dates de début et de fin de la dernière mise à jour lancée sur le site (celle enregistrée dans le cache via les paramètres de ton navigateur), Req2 suffit.

Si le but est uniquement de modifier les dates de début et de fin et de lancer une mise à jour des données Req1 suffit.

Si le but est de modifier les dates de début et de fin, de lancer une mise à jour des données et de télécharger le fichier contenant les données il faut lancer Req1 puis Req2.

A+
19/02/2017, 22h19
mercatog

On tourne en rond en plus de dialogue de sourds

Citation:

celle enregistrée dans le cache via les paramètres de ton navigateur

Tu peux développer

Citation:

Si le but est de modifier les dates de début et de fin, de lancer une mise à jour des données et de télécharger le fichier contenant les données il faut lancer Req1 puis Req2

On sait ça, rien de nouveau. On peut modifier aussi l'indice interne de l'Action ou de l'entreprise à visualiser. D'où le "...search & i

Je cherche depuis hier le POURQUOI de la chose

Deux requêtes xmlhttp en apparence indépendantes mais en fait quelque part ne le sont pas puisque la seconde utilise quelque chose issu de la première (cache ou cookies ou je ne sais quoi)

J'ai essayé de placer un stop dans le code entre les 2 requêtes et de vider le cache manuellement et supprimer les cookies ensuite relancer le code. Et bien le fichier adéquat est téléchargé.
21/02/2017, 16h53
davido84

J'ai effectué le test suivant : je prends deux ordinateurs différents et les connecte tous les deux aux site

Citation:

http://www.swapsinfo.org/charts/swap...-risk-activity

Je précise que le fichier Excel comprenant la macro ImportAllData (dans laquelle j'ai simplement enlevé la boucle et viré la variable i du search) est uniquement sur l'ordinateur 1.

Sur l'ordinateur 1 je lance une première fois Req1 + Req2 en définissant une date de début et une date de fin => je récupère les bonnes données.

Puis, toujours sur l'ordinateur 1 je lance une deuxième une requête, mais cette fois uniquement Req2, celle qui lance l'URL liée uniquement au bouton

Citation:

http://www.swapsinfo.org/download/in...isk%20Activity

=> je récupère les mêmes données (normal).

Puis je vais sur l'ordinateur 2, modifie sur le site les dates de début et de fin et appuie sur le bouton Update Data.

Puis je reviens sur l'ordinateur 1 et lance une nouvelle fois uniquement Req2 =>je récupère les nouvelles données mises à jour par l'ordinateur 1.

Par acquis de conscience j'ai refait ce test après avoir effacé les fichiers Internet temporaires stockés sur le disque dur de l'ordinateur 1 : même résultat.

Je pense donc que dans le cas présent :
- la requête lancée via la macro et utilisant l'objet XmlHttpRequest n'utilise pas ces fichiers temporaires, même avec la méthode GET. Peut-être utilise-t-elle d'autres fichiers placés ailleurs (dans le cache du site, du serveur, ou je ne sais où).
- Req2 récupère le fichier contenant les données issues de la dernière mise à jour effectuée sur le site (le fait, lors d'essais précédents, d'avoir récupéré via Req2 des données issues de dates que je n'avais jamais utilisées peuvent s'expliquer).

Pour ma part je pense toujours que ces deux requêtes sont indépendantes, même si je n'en ai pas la preuve tangible. Ceci dit il y a 2 boutons de commande (Update data et Export data) qui font donc 2 actions différentes et chacun est lié à une URL spécifique.

Dernier point : parmi les fichiers temporaires, il y a un fichier javascript nommé analytics.js où l'on retrouve des fonctions utilisant l'objet HttpRequest : peut-être que son étude pourrait apporter des précisions sur le fait que les deux requêtes sont ou non liées.

Citation:

J'ai essayé de placer un stop dans le code entre les 2 requêtes et de vider le cache manuellement et supprimer les cookies ensuite relancer le code. Et bien le fichier adéquat est téléchargé.

Idem de mon côté et au vu de ces résultats cela me paraît logique.

A+
23/02/2017, 12h43
mercatog

Merci davido pour ce test

En fait tu changeais les dates de début et de fin. les données pour une action i changent peu

As tu pu tester en laissant la boucle sur i disons de 1 à 4 avec des dates fixes. On aura 4 feuilles pour les 4 actions de la boucle.

En fait le Search" & i permet de boucler sur toutes les actions. Chaque action à un nom (nom de l'entreprise) et in indice qui est un entier entre 1 et ...
25/02/2017, 09h40
davido84

Citation:

En fait tu changeais les dates de début et de fin

Si tu parles de mon dernier test, effectivement et cela m'a permis de vérifier que Req2 lancée seule ne fait que télécharger les données correspondant à la dernière mise à jour faite sur le site par n'importe quel internaute.
C'est pour cela que je pense que les 2 requêtes sont indépendantes.
Le fait de modifier les dates sur l'ordinateur 1 directement sur le site puis de lancer uniquement Req2 sur l'ordinateur 2 et de récupérer les données correspondant aux dates modifiées sur l'ordinateur 1 quelques secondes avant le montre il me semble.

Donc les fichiers temporaires enregistrés sur le disque dur n'ont rien à voir là-dedans.

Citation:

As tu pu tester en laissant la boucle sur i disons de 1 à 4 avec des dates fixes. On aura 4 feuilles pour les 4 actions de la boucle.

Cela je l'avais testé dès le départ et effectivement les 4 actions ramènent 4 résultats différents.

Par contre, il y a quelque chose que je ne comprends pas avec cette boucle : personnellement j'avais crû comprendre que la variable i du search renseignait la zone de texte "search" via un indice.
Or, quand tu la renseignes manuellement (tu rentres 1 par exemple) et que tu appuies sur Update Data :
1) la requête récupérée dans l'inspecteur du document ne fait pas état d'une valeur placée dans search "&search=&type=&...", ce qui pour moi n'est pas logique.
2) Si tu télécharges les données à la suite de la mise à jour, que tu relances manuellement une nouvelle mise à jour (avec l'indice 2 inscrite dans la zone de texte Search) et que tu télécharges les données, celles-ci sont les mêmes (ce qui me paraît logique puisque, encore une fois, search n'est pas renseignée dans la requête).

Par contre, si tu lances la Sub ImportAllData avec Req1+Req2, les résultats ramenés à chaque bouches sont différents...il y a un truc qui m'échappe.

A+
25/02/2017, 10h18
mercatog

Bonjour davido
Non l'indice n'est pas directement renseignée dans la zone search. On y inscrit le nom de l' entreprise (Action). Quand on fait update, l'url change on y insérant un indice dans "...search"&i
Voilà le pourquoi Req1 ou même à la place on travaille avec IE (code plus haut).

Ça m'étonnerait si les données importées dépdndraient de la dernière recherche de n'importe quel internaute.

Question d'IP?
25/02/2017, 10h36
davido84

Citation:

Question d'IP?

c'est possible mais je me souviens avoir récupéré des données avec des dates que je n'avais pas utilisées et en ne lançant que Req2.
Pour en être sûr il faudrait faire la manip en Tchat (un qui lance un Update sur le site après avoir modifié les dates et qui prévient l'autre qui lance immédiatement la Sub uniquement avec Req2).
A l'occasion je testerai avec quelqu'un.
A+
03/03/2017, 16h02
mercatog

Bonjour davido84

As tu fais le test simultané sur 2 postes différents

Fuseau horaire GMT +2. Il est actuellement 09h55.