Récupération d'une page chargée en Javascript/AJAX

Bonjour,

J'utilise mechanize pour simuler un navigateur web et BeautifulSoup pour parser l'HTML. Hors j'ai un petit soucis avec certaines pages. Certaines pages se chargent via du javascript/ajax, du coup lorsque je .read() la page, je récupère la page qui est en train de se charger (avec les images load.gif etc..).

Comment puis-je faire pour récupérer l'HTML une fois le chargement dynamique terminé?
J'ai essayé un petit time.sleep(15) (on ne sait jamais) :P rien ne fait

Avez-vous une idée?
Merci d'avance

Mechanize ne prendrait pas en compte le JS et l'AJAX :mur:

J'ai trouvé quelques post proposant d'utiliser Selenium par exemple
Mais il ouvre le navigateur dans une fenêtre directement. Par la suite j'ai trouvé un moyen de cacher cette fenêtre, car je souhaite rester en mode console. Mais c'est juste ULTRA lent :aie: j'ai l'impression de faire du Java :mouarf:

Quelqu'un a t-il une solution ?
Merci

Salut,
Si vous voulez récupérer le contenu de la page sans charger les contenus, pourquoi travailler en mode "Browser"?
- W

Car je dois accepter JS, Cookie etc...

Éventuellement, regardes du coté de QWebkit qui permet d'interagir avec le contenu d'une page chargée normalement.

Je m'en sert pour afficher des maps d'OpenStreetMap en gérant tout en Python.

http://www.riverbankcomputing.co.uk/.../qtwebkit.html


Il y a aussi le module QWebInspector qui mérite d'être testé.
Ce module s'ouvre dans une fenêtre et permet d'observer tout ce qui se passe au niveau de la page chargée.

http://www.riverbankcomputing.co.uk/...inspector.html