Discussion :

[hannibal.76]

Bonjour a tous,

je cherche a récupérer le contenu HTML d'une page web.
Comme d'habitude je sort urllib et fait

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
url = 'monUrl'
page = urllib.urlopen(url)
pageHtml = page.read()
print pageHtml

La pas de soucie, j'ai mon HTML...
Mais en regardant de plus prêt je vois qu'il manque du HTML dans la page !!!!!
Après une petite analyse de la page cible, je comprend que les morceau manquant sont générer en javascript ....

Il semble donc que urllib ne gère pas le Javascript.

Donc savez vous comment faire pour récupérer une page web qui a certaine partie de son contenue généré en Javascript ?

Je vous remercie par avance pour votre aide

[VinsS]

Salut,

Tu veux dire que tu as quelque chose comme ceci dans ton html

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
<script type="text/javascript"
    src="http://maps.google.com/maps/api/js?sensor=false">
</script>

Ceci peut être lu avec urllib aussi

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
 
# -*- coding: utf-8 -*-
 
import urllib2
 
def get_js(url):
    content = urllib2.urlopen(url).read()
    with open('j_script', 'w') as outf:
        outf.write(content)
 
if __name__ == '__main__':
    get_js("http://maps.google.com/maps/api/js?sensor=false")

Testé.

[hannibal.76]

Non ce n'est pas vraiment cela..
Il y a un appel a l'API REST de flickr puis une mise en forme du retour.

Comme je n'ai pas trouver comment faire, je fais simplement la même chose que le script JS mais en Python

Donc cela fonctionne.
Merci tout de même pour ton aide