Récupération d'url depuis page web dans python

Bonjour .

Je me suis lancé dans un projet qui me paraissait "simple" , mais je bute sur un obstacle, en effet mon petit programme a pour but de renvoyer les liens d'une page de recherche google, donc j'ai commencé par utiliser le syntaxe de recherche google ("https://www.google.fr/#q=" + élément à chercher) pour avoir une page google, puis je récupère le code source de la page avec

Code:

---

page_google = urllib.request.urlopen(url_google)

---

, mais aucun lien n'est dans cette page, je ne connais rien en HTML.
Une aide de votre part serait la bienvenue.
Merci de vos futures réponses, Guillaume.

Bonjour

La page renvoyée, elle contient quoi ?
Un message d'erreur ? Ou un message expliquant ce qu'il se passe ?

De mémoire, ayant fait quelques choses de similaire, j'avais eu une page indiquant que Google ne souhaitait pas qu'on utilise son moteur de recherche comme cela, mais par son API public.

-> autre approche : bien lire et exploiter les messages d'erreur.

Cordialement
Emmanuel

Bonjour.
Et bien en fait la page renvoyé ne contient pas tout le code HTML, mais qu'une partie ( comme un clique droit/afficher le code de la page ) .Aucun message d'erreur, nul part... Et pour cet API, elle n'est disponible qu'en 2.X ?
Merci de cette réponse.

Salut,

Un exemple très limite pourrait être:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19

>>> import json >>> import urllib.request >>> import urllib.parse >>> # construction de la requête >>> URL = 'http://ajax.googleapis.com/ajax/services/search/web?v=1.0&' >>> search_text = 'zzz' >>> query = urllib.parse.urlencode({'q': search_text}) >>> url = URL + query >>> # on place le resultat dans un dict >>> request = urllib.request.Request(url) >>> results = json.loads(urllib.request.urlopen(request).read().decode()) >>> # et on sort les url >>> for d in results['responseData']['results']: ... print(d['url']) ... https://myspace.com/zzz https://myspace.com/zzzoinkz http://en.wikipedia.org/wiki/Zzz http://www.urbandictionary.com/define.php%3Fterm%3Dzzz

---

C'est très limite car çà ne gère pas du tout les erreurs et les encodings (l'exemple avec search_text = 'zzz') mais çà vous montre le principe... Et plutôt que d'aller dépiauter du HTML, çà passe par une interface qui retourne du JSON qu'on sait facilement transformer en dict Python.
Après, il faut aussi décoder les autres informations retournées dans le JSON car c'est un résultat "partiel" mais quoi que vous fassiez, le plus dur n'est pas Python mais de comprendre l'API google que vous allez utiliser.

Je ne suis pas sur que çà vous aide mais çà vous permet de voir les difficultés.

Sinon vous avez des biblio. qui font beaucoup de boulot pour vous genre google-search-python. Là il faut aller à la pêche...

- W