Discussion :

[rvbp13]

Bonjour,

Je cherche à effectuer des recherches google via un script python qui utilise httplib.

Mon script fonctionne le seul probleme c'est que google me retourne sans cesse un code 400 bad request... j'ai tester mon script sur d'autre url par exemple mon site perso et la aucun probleme j'obtiens bien au un code de retour de valeur 200 !!

Je pense que le soucis viens du format de mon url google, pourtant j'ai testé celle ci au travers d'une requete avec wget et cela fonctionne sans soucis....

je met un bout de code en exemple :
Préparation de l'url :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
adresse = "www.google.fr"
page = "/"
parametre = "search?hl=fr&q=%s" % keyWords

Execution de la requete :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
h = httplib.HTTPConnection(adresse)
header = {"Accept" : "text/html",
               "Accept" : "text/plain",
               "User-Agent" : "Mozilla/5.0 (compatible; MSIE 6.0; Windows NT 5.1)"}
h.request(methode,page,parametre,header)
reponse = h.getresponse()

Je précise que methode est initialisé à "GET" ...
Voila si quelqu'un a une petite idée...

[pacificator]

Bonjour,

le moyen le plus respectueux est d'utiliser les API mise à disposition par Google.
Un exemple de cette page:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
import urllib2
import simplejson
 
# This example request includes an optional API key which you will need to
# remove or replace with your own key.
# Read more about why it's useful to have an API key.
# The request also includes the userip parameter which provides the end
# user's IP address. Doing so will help distinguish this legitimate
# server-side traffic from traffic which doesn't come from an end-user.
url = ('http://ajax.googleapis.com/ajax/services/search/web'
       '?v=1.0&q=Paris%20Hilton&key=INSERT-YOUR-KEY&userip=USERS-IP-ADDRESS')
 
request = urllib2.Request(
    url, None, {'Referer': /* Enter the URL of your site here */})
response = urllib2.urlopen(request)
 
# Process the JSON string.
results = simplejson.load(response)
# now have some fun with the results...

[rvbp13]

Ok je te remercie,

Donc si je comprend bien je ne peu pas balancer des requetes comme sa à la volé il me faut un identifiant que je lui passe en parametre...

Pourtant apparemment avec urllib ou wget on peu effectuer des requetes comme dans un navigateur classique...

[pacificator]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

# This example request includes an optional API key

C'est pas plus compliqué que ça:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
import urllib2
import simplejson
 
url = ('http://ajax.googleapis.com/ajax/services/search/web'
       '?v=1.0&q=rvbp13')
 
request = urllib2.Request(
    url, None, {'Referer': 'exemple.com'})
response = urllib2.urlopen(request)
 
results = simplejson.load(response)
print results

[rvbp13]

Pour info pour ceux que sa interresse je viens de trouver mon erreur et donc la solution par la meme occasion.

En effet il fallais initialiser les variables sous et forme la :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
adresse = "www.google.fr"
page = "/search?hl=fr&q=%s" % keyWords

il ne fallais pas séparer le nom de la page et les parametre... j'ai utiliser urlparse pour décoder les url et c'est lui qui ma induit en erreur des le debut...

je ne sais pas si j'ai été très clair dans mon explication mais n'hésitez pas à me demander je me ferais un plaisir de vous repondre !!