Récupérer une page web

Version imprimable

14/08/2012, 12h21
hannibal.76

Récupérer une page web
Bonjour a tous,

je cherche a récupérer le contenu HTML d'une page web.
Comme d'habitude je sort urllib et fait
Code:

1 2 3 4 5 url = 'monUrl' page = urllib.urlopen(url) pageHtml = page.read() print pageHtml
La pas de soucie, j'ai mon HTML...
Mais en regardant de plus prêt je vois qu'il manque du HTML dans la page !!!!!
Après une petite analyse de la page cible, je comprend que les morceau manquant sont générer en javascript ....

Il semble donc que urllib ne gère pas le Javascript.

Donc savez vous comment faire pour récupérer une page web qui a certaine partie de son contenue généré en Javascript ?

Je vous remercie par avance pour votre aide ;)

Salut,

Tu veux dire que tu as quelque chose comme ceci dans ton html

Code:

1
2
3
4
 
<script type="text/javascript"
    src="http://maps.google.com/maps/api/js?sensor=false">
</script>

Ceci peut être lu avec urllib aussi

Code:

1
2
3
4
5
6
7
8
9
10
11
12
 
# -*- coding: utf-8 -*-
 
import urllib2
 
def get_js(url):
    content = urllib2.urlopen(url).read()
    with open('j_script', 'w') as outf:
        outf.write(content)
 
if __name__ == '__main__':
    get_js("http://maps.google.com/maps/api/js?sensor=false")

Testé.

15/08/2012, 10h37
hannibal.76

Non ce n'est pas vraiment cela..
Il y a un appel a l'API REST de flickr puis une mise en forme du retour.

Comme je n'ai pas trouver comment faire, je fais simplement la même chose que le script JS mais en Python ;)

Donc cela fonctionne.
Merci tout de même pour ton aide