Discussion :

[Neitsa]

Bonjour à tous,

je me suis décidé à me lancer dans l'aventure python (je programme habituellement en C et C++)

J'expose mon problème :

Pour l'instant je cherche à récuperer des phrases sur google, pour la connection j'utilise Urllib2.

Autant cela marche avec pleins de sites web, autant ca ne fonctionne pas avec google, le problème se situe dès l'ouverture de la page :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
import urllib2
url=urllib2.urlopen("http://www.google.com/search?q=programmation")

voilà les erreurs (j'ai coupé les références aux modules pour plus de lisibilité):

Traceback (most recent call last):
File "doc.py", line 5, in ?
url=urllib2.urlopen("http://www.google.com/search?q=programmation")
urllib2.HTTPError: HTTP Error 403: Forbidden

L'erreur est donc un 403 HTTP... Ca fonctionne très bien avec un browser mais pas comme ceci sous python il semblerait...

Que dois-je faire pour que cela fonctionne ?

Merci à vous !

[oiffrig]

Je crois que PyGoogle est plus adapté

[franck260]

Pour une meilleure compréhension, tu peux aussi directement te référer au chapitre consacré aux services web SOAP de l'excellent dive into python (en effet, l'API proposée au-dessus est visiblement l'adaptation du code du livre) :

http://www.diveintopython.org/soap_web_services/index.html

Illustrée par la recherche sur google :
http://www.diveintopython.org/soap_web_services/google.html

[Neitsa]

Merci à tous deux pour vos réponses.

En creusant le sujet j'ai trouvé qques pistes concernant cette erreur. En récupérant la page d'erreur, j'ai obtenu ceci :

Forbidden
Your client does not have permission to get URL /search?q=programmation from this server. (Client IP address: xxx.xxx.xxx.xxx)

Please see Google's Terms of Service posted at http://www.google.com/terms_of_service.html
[cut]

Google n'autorise donc pas les recherches automatisées...

Il y aurait, je pense, moyen de contourner cette protection en changeant l'user-agent, mais je vais m'en tenir à la solution que vous proposez, qui sera bien plus simple à mettre en oeuvre.

En vous remerciant.

[DiGiTAL_MiDWAY]

y aurait, je pense, moyen de contourner cette protection en changeant l'user-agent

C'est tres simple aussi ça ^^ il te suffit d'editer le fichier urllib2.py et de rechercher "Python-urllib/2.1" et de remplacer par luser agent que tu veux