[Pilotage Internet Explorer] Comment attendre la mise à jour d'un élément d'une page web …

**itwoo** · 03/12/2014, 02h34

Bonjour,

Si tu trouves une amélioration c'est ok (toute amélioration est bonne à connaître, côté marketing la c'est toi qui gére ton produit

)

Pour l'astuce de Pat Oui il y a quelque chose de pas normal car la page de validation du formulaire ne semble pas être celle habituelle si pas à pas et bien il y a une modification entre la page d'accueil

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 .Navigate "http://www.developpez.net/forums/subscription.php"
While .Busy Or .ReadyState < 4:  DoEvents:  Wend
        .Visible = True

et celle qui s'affiche aprés le navbar_loginform

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
.Document.write "<html><head>" & vbCrLf & "<meta http-equiv=""x-ua-compatible""  content=""IE=9""/>" & "</head>" & .Document.body.outerhtml & "</html>"
        With .Document.getElementsByName("navbar_loginform")

version Marc qui marche maintenant avec la modif de Pat sur le "meta + le head" mais la page ici n'est plus la même que celle juste aprés .visible => ce point est à regarder de plus prés plus tard surtout qu'ici IE semble à l'origine être la version 9 installée à la base!!!

Sais tu comment récupérer le codesource de la page web dans son intégralité par exemple du type: set codesource = Iedoc.** ou autre pour voir son évolution stp?
Bien en attendant direction l'autre post... et les abeilles.
bonne journée

**Marc-L** · 03/12/2014, 14h16

Pour le code source, c'est du texte : .Document.body.outerHTML (ou .innerHTML) …

Pour ma première astuce, c'est difficile avec le NASQAQ selon la période et même le code de la cotation
mais par contre pour Euronext cela a l'air plus simple, je récupèrerais plus de 15 000 cotations en peu de temps !

Quant à la deuxième voie, la plus performante, je n'ai pas encore testé car je dois déjà analyser le code fonctionnant
sur le site d'origine et comparer avec la page source et les requêtes en naviguant manuellement, faudra patienter …

**itwoo** · 04/12/2014, 17h56

D'accord merci, pendant ce temps ici aussi tentatives en cours...

Pour le code source en passant par .body cela limite à body, il n'y a pas comme lors d'un clic droit avec la souris sur la page le doctype, head, meta, style...y a-t-il un autre moyen que le clic droit pour connaitre tout le code de la page web?
Surprise Pat a fait un article dessus ca devrait le faire...Pat il est toujours là quand il faut

ie emulate a remis dans la page web les 2 input dans le formulaire navbar_login alors qu'avant ils n'étaient pas dans ce formulaire (ici), mais la page web reste la même c'est son codage qui a évolué (avec par la même un affichage différent, l'affichage est tout en longueur) Il semblerait donc qu'avec cette manip emulate bien que nous ayons un affichage différent à l'écran, les éléments eux soient tous identifiés et répertoriés de la même façon...à l'occasion plus tard (une fois le reste résolu) si tu le souhaites nous pourrons revenir sur ce point pour voir cela...

A bientôt

**Marc-L** · 04/12/2014, 23h31

Les deux PC sur lesquels j'entreprends des tests disposent chacun de Seven & IE9,
donc cela va m'être un peu difficile …
De temps en temps j'arrive à emprunter vite fait le Windows 8 & IE10 de mon ainée mais vraiment vite fait !
Mais un de ces quatre Patrick ouvrira-t-il une nouvelle contribution ?

Sinon combien de temps te faut-il pour charger les données d'Euronext ?

Je viens d'alimenter une feuille de calculs avec les 15 000 cotations d'Euronext en pilotant directement le téléchargement
du fichier csv en moins de 15 secondes avec processeur i3 ou i5 sous Seven & IE9 avec Excel 2003 comme 2007.
L'astuce a fonctionné aussi sur Windows 8 & IE10 mais ramait malgré un processeur i7 …

Le principe est de télécharger directement un fichier de données dans un classeur temporaire,
il y a plus de code pour copier les données dans la destination et procéder à une mise en page que le pilotage lui-même !
C'est une astuce encore une fois née de l'observation, si bête et donc surpris de ne pas l'avoir déjà croisée sur des forums !
Reste à gérer un parasite occasionnel, une fenêtre annexe d'IE apparaissant de temps à autre,
non blocante mais restant ouverte malgré la fermeture de l'instance d'IE …
Je peux envoyer une commande système pour décharger tout processus d'Internet Explorer mais est-ce acceptable ?
Car si IE a déjà une cession en cours avant la procédure, elle sera quand même fermée sans confirmation aucune …
Sinon je cherche une autre manière pour ne fermer que la fenêtre parasite, à défaut de l'effectuer manuellement …
Edit : c'est bon j'ai trouvé !

Quant à l'autre voie, c'est déroutant d'efficacité et plus rapide que cette astuce mais exigera une analyse approfondie …

**itwoo** · 05/12/2014, 13h32

Bonjour,

En effet Peut être Pat fera une contribution qui sait?
Oui l'idée de copier toutes les datas hors IE dont tu as déjà parlé c'est trés bon

Pat a fait une contribution un peu dans ce genre au fur et à mesure des progrés faits sur les posts où il explique les diverses méthodes pour récupérer des datas sur le web: code source d'une page sur le net
Ton idée ca semble un trés bon compromis...et 15 secondes c'est plus rapide que tes abeilles...TROP FORT

Suis preneur yes BRAVO!!!

Lecture en cours de tes abeilles, car vbs bien aussi et la détection va finir pas marché aussi.

Donc objectif finir une technique qui marche la vérifier mais aussi si autre technique qui semble pertinente il faut la regarder (et puis ca pourra toujours reservir pour autre chose)

@+

**Marc-L** · 05/12/2014, 18h30

C'est en deçà des quinze secondes, tout dépend aussi de l'ordinateur, de la connexion, …

https://www.euronext.com/fr/equities-directory : est-ce bien l'adresse de la page du fichier à télécharger ?
Car là il y a moins de 1500 cotations contre les 15000 génériques du site dont un peu moins de 2200 actives …

Pour récupérer dans Excel des données d'un fichier sur le net, quand un lien est directement disponible,
il suffit d'utiliser une des méthodes Workbooks.Open ou .OpenText mais ce n'est pas le cas pour Euronext …

Donc pour un fichier téléchargeable, il y a plusieurs voies :

• la plus évidente : télécharger manuellement le fichier en local sur le disque dur puis automatiser son intégration dans Excel …
Avec le Générateur de macros, même un débutant peut s'en sortir !

• La semi-automatique : une procédure VBA pilote Internet Explorer jusqu'à la fenêtre de confirmation du téléchargement,
l'utilisateur doit juste cliquer sur le bouton Ouvrir, le fichier est alors ouvert automatiquement dans un classeur temporaire
puis un évènement du classeur de la macro se charge d'intégrer les données dans leur destination
puis ferme le classeur temporaire et le navigateur.
C'est la solution technique la moins contraignante, l'utilisateur gardant le contrôle …
En connaissant le pilotage d'IE (tutoriel de Qwazerty) et les évènements VBA d'Excel, ce n'est pas difficile.
J'aurais pu t'indiquer cette voie déjà l'année dernière dans ta discussion mais elle avait pris la direction des requêtes …

• L'automatique par simulation de clavier : c'est l'astuce évoquée, à partie de la semi-automatique,
une séquence adéquate de touches est envoyée afin d'ouvrir automatiquement le fichier temporaire de données,
rien de bien compliqué, juste observer comment réagit IE afin de temporiser la procédure pour la synchroniser avec IE.
Cela fonctionne bien déjà sur deux sites mais avec le NASDAQ ce n'est pas rentable vis à vis d'une requête existante.
Avec Euronext, cela fonctionne mais parfois j'ai soit la fenêtre annexe d'IE de téléchargement restant ouverte
(j'avais hier des solutions pour la fermer mais parfois elle ne veut rien savoir : si IE n'est pas le navigateur principal,
je peux fermer toutes les instances d'IE d'un coup, sinon c'est l'utilisateur qui s'en charge)
soit un plantage du genre de perte d'objet, suffit de fermer Excel et IE puis de relancer …

Voies restant à explorer :

• L'automatique expert : via des API Windows, on peut détecter l'ouverture d'une fenêtre, simuler un clic de souris,
elle n'exigerait pas de temporisation empirique comme la précédente …

• L'Ultimate Request : je dois en analyser une sur un site où il faut pourtant valider un mot de passe avant de télécharger
les données, c'est en fait une double requête avec une redirection entre mais c'est diablement efficace, très rapide …

_________________________________________________________________________________________________
La meilleure façon de ne pas avancer est de suivre une idée fixe. (Jacques Prévert)

**itwoo** · 07/12/2014, 07h54

Bonjour

Oui c'est la bonne adresse, aprés il suffit de charger les 1450 valeurs environ...(il y a pas mal d'explication sur l'autre post)

Pour les méthodes:
La plus évidente: ok

La semi-automatique : ok

L'automatique par simulation de clavier : ici il reste des fenêtres parasites...si jamais tu y arrives sans plus avoir de fenêtres parasites et tout en automatique pourquoi pas...

L'automatique expert : pas réussi

L'Ultimate Request: ici je ne sais pas bien quel processus tu suis

Ta méthode abeilles: celle adaptée avec brio par Pat en cours de finition toute automatique (seul défaut retour de certains vbs défectueux parfois: erreur et raison du défaut détectées mais c'est la correction du défaut qui pose probléme suis en train de lire tes abeilles pour voir comment corriger cela)

L'objectif c'est d'être par ordre d'importance:
sans erreur(car pas de correction manuelle) => fiable à 100% (pour le moment seule la version manuelle réussi ce stade)
en tout automatique
le plus rapide possible
utilisable en permanence ou si probléme quelconque le détecter et arrêter le processus (user le relancant plus tard)
le plus compatible possible avec les divers systémes
il y a beaucoup beaucoup de lancements à effectuer mais combien ca je ne sais pas encore précisément...

PS: pour la méthode abeilles si tu le veux bien il serait plus logique de retourner sur l'autre post ou Pat a déjà énormément avancé, la solution n'est pas loin

Merci pour tout
A bientôt

**Marc-L** · 07/12/2014, 13h05

Envoyé par itwoo

Oui c'est la bonne adresse, aprés il suffit de charger les 1450 valeurs environ...

J'ai remarqué des cotations sans valorisation, t'en fais quoi ?
Sinon as-tu ouvert le fichier via le bouton de téléchargement ? Il n'est pas trié par nom de cotation …

Envoyé par itwoo

L'automatique par simulation de clavier : ici il reste des fenêtres parasites...si jamais tu y arrives sans plus avoir de fenêtres parasites et tout en automatique pourquoi pas...

La fenêtre d'IE est bien fermée mais parfois celle des téléchargements d'IE reste ouverte en arrière plan, rien de bloquant.
Si IE n'est pas le navigateur par défaut, il y a une commande radicale fermant toute instance d'IE mais,
si IE est le navigateur par défaut et qu'une navigation était déjà en cours avant la procédure, elle sera donc fermée aussi !
Peut aussi se détecter mais autant éviter l'usine, aussi bien laisser l'utilisateur fermer la fenêtre des téléchargements …

Envoyé par itwoo

Ta méthode abeilles: celle adaptée avec brio par Pat en cours de finition toute automatique

C'est pourtant ma méthode, me donnant satisfaction pour d'autres cas mais pour Euronext vu les problèmes décrits,
je vous l'annonce sans ambage : arrêter les frais ‼

Ne sachant toujours pas combien de temps ont besoin les abeilles (oui au fait, alors?),
ayant testé la méthode semi-automatique comme celle par simulation de clavier en deçà des quinze secondes et ce,
en une unique connexion (juste en téléchargeant le fichier complet des cotations), mise en page comprise
(tout dépend en fait des performances de la connexion et de l'ordinateur comme de l'importance de la mise en page effectuée),
je prévois à terme de diviser au moins par deux le temps nécessaire à l'opération (oserai-je annoncer autour des 5 secondes ?),
ces méthodes nécessitant actuellement sept secondes de temporisation …

Envoyé par itwoo

L'objectif c'est d'être par ordre d'importance:
sans erreur(car pas de correction manuelle) => fiable à 100% (pour le moment seule la version manuelle réussi ce stade)
utilisable en permanence ou si probléme quelconque le détecter et arrêter le processus (user le relancant plus tard)

Chaque méthode évoquée l'est, c'est juste une question de programmation par anticipation d'éventuels incidents
comme on l'a déjà vu du reste dans cette contribution …

Envoyé par itwoo

le plus compatible possible avec les divers systémes

Cela demanderait un éclaircissement mais là j'anticipe : uniquement sous Windows …

Envoyé par itwoo

il y a beaucoup beaucoup de lancements à effectuer mais combien ca je ne sais pas encore précisément...

Qu'entends-tu par « lancements » ? Chaque méthode évoquée ayant besoin d'une seule connexion …

En attendant de lire tes réponses, je prépare une nouvelle contribution mais cette fois évolutive :
j'attendrais ton retour avant de passer à l'étape suivante car j'ai du mal à me remettre dans le bain
quand tu reviens sur un post vieux de plusieurs semaines …

Cette ascension progressive, bien plus formatrice, te mènera en haut de la montagne pour atteindre le Nirvana !
(Me laissant en fait le temps à chaque étape de préparer la suivante, évitant un post unique par trop long et peu digeste …)

_________________________________________________________________________________________________
Je ne cherche pas à connaître les réponses, je cherche à comprendre les questions. (Confucius)

**itwoo** · 09/12/2014, 17h10

Bonjour Marc,

Euronext est piégeux à souhait en effet...
pour répondre dans l'ordre:
*les cotations absentes: seront par la suite éliminées/mises de côté

*Le bouton de téléchargement ne te donne pas les même informations, mais ca peut être une piste intéressante au moins pour démarrer ...ce bouton ne donne que les cours de cloture de la veille et non les cours du jour. Je ne sais pas simuler en automatique dans le formulaire de la pop up le clic sur valider/Go de ce bouton je sais juste changer les autres paramétres de la pop up (format, layout,separator...)=> si tu connais l'instruction de validation suis preneur

*si sous windows ca ira trés bien, pour info j'utilise Firefox comme navigateur autant que possible

*Ta méthode abeille donne satisfaction entiérement en 40secondes maximum, sauf retour trés souvent défectueux des datas d'un des vbs à relancer (voir l'autre post la version et toutes les explications, suis en recherche sur ce point actuellement) =>il me semble que c'est un petit détail au niveau du script mais pour le moment ca bloque pas moyen de relancer ce satané vbs (mais rien d'insurmontable, juste trouver l'erreur , donc lecture de tes abeilles mais surtout analyse de ta méthode en cours, ca va venir) Ca me parait la meilleure solution actuellement

*lancements = pourvoir récupérer les datas autant de fois que tu le veux (par exemple lancement 1 fois par heure)

Pour le nirvana il se fait désirer et l'ascension est ardue mais il se rapproche

Cela dit j'ai pas trop de mérites pour le nirvana car c'est vous qui faites le travail pour le moment je ne fais qu'essayer de suivre/comprendre

**Marc-L** · 09/12/2014, 17h36

En fait, le nirvana promis concerne uniquement le téléchargement du fichier …

Je n'avais pas prêté attention au cours du jour, désolé et pas mieux pour l'instant que les abeilles …
Donc n'arrêtez pas les frais ! Autant pour moi …

Je pense que Stéphane s'était penché dessus, avait évoqué quelque chose d'intéressant,
il va falloir que je remonte le temps dans ta discussion !

Mais comme tu es intéressé quand même par la confirmation de l'import du fichier
(c'est vraiment tout bête, suis tombé dessus en passant de Firefox à IE juste en observant !),
je vais bientôt ouvrir une nouvelle contribution à cette fin et certainement accompagnée d'un bonus …

**itwoo** · 09/12/2014, 18h13

Ca sera déjà un bon nirvana

et si en plus il y a un bonus alors là

Sinon oui Qwaz a donné une piste

Pour ce qui est du contrôle des datas, je ne comprends pas où est le problème, il suffit de contrôler ce que contient la requête (par exemple "iTotalRecords":null) dans le vbs et si vide on boucle.

c'est ce que j'essaie de faire...mais pour le moment je perds l'info elle ne remonte pas du vbs (mauvaise structure ou mauvaise appel)...ca va venir juste besoin de temps pour tout lire et comprendre...

**patricktoulon** · 10/12/2014, 12h54

Bonjour tous les deux
j'ai beaucoup de boulot en ce moment ce qui explique que je ne suis pas souvent sur le forum

donc je recapitule

des que que ie est chargée faire

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

ie.document.getelementsbytagname("head")(0).innerthtml=ie.document.getelementsbytagname("head")(0).innerhtml & vbcrlf & "<meta..........."

de cette manière on garde les css et tout autre script de configuration

**Marc-L** · 11/12/2014, 13h40

Merci Patrick, je te tiendrai au courant après test (là aussi je manque de temps) …

itwoo, en reprenant ta discussion, le code de Patrick de la pièce jointe du post #293 page 15 ressemble au mien
mais l'as-tu testé au moins ? Fonctionne-t-il de ton côté ? (du mien non …)

Car si cela fonctionne pour toi, pas besoin de contribution alors, à la rigueur je posterais directement le bonus !

**itwoo** · 13/12/2014, 07h48

Bonjour,

Oui Marc testé le code de Pat du post#293 (pour ouverture par la pop up) la pop up s'ouvre puis se ferme mais rien ne se passe...mais c'est une trés bonne voie à poursuivre si procédure de récupération cours du jour
Pour le moment et faute de temps je suis resté sur ta solution des abeilles (en cours en cours) qui me semble vraiment tip top et plus adaptée à ce que je recherche
Dit marc par contre stp il me semble préférable de rester sur l'autre discussion pour en parler sinon on va plus savoir où on en est...
Ok on testera le emulate aprés (idem comme vous un peu chargé)
Bon WE

PS: je fais copie de cela sur l'autre discussion pour la poursuivre là bas

[Pilotage Internet Explorer] Comment attendre la mise à jour d'un élément d'une page web …

Contribuez

Discussions similaires

Partager

Partager