Discussion :

[Luke spywoker]

Salut les WebPythons,
Je suis des votre et j'écrit un programme de recherches avancées pour google.
C'est en mode text: les requètes sont faite par httplib.
Mais je suis tomber sur un os: les caractères non-ASCII sont formater et je cherche une solution afin de pouvoir faire des requètes non-ASCII.
les requètes sont faite avec httplib, un bout de code pour comprendre:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
conn=httplib.HTTPConnection('www.google.fr')
conn.request("POST",'/search?q=allintext:dévellopez.com+python',self.params,self.headers)#j'ai mis le "é" exprès
answers=self.conn.getresponse()
data=self.answers.read()

Ce qui ne marche pas: unicode error can't decode \xc3\xa9 (str('é') == \xc3\xa9 )

Alors après des essais avec urllib, le code suivant marche en ligne de commande mais pas en intégrer dans mon programme, sa bug sur urllib.urlopen.
unicode error can't decode \xc3\xa9 :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
a=urllib.urlopen('http://www.google.com/search?q=allintext:Tarek+Ziadé')
a.geturl()
'http://www.google.com/search?q=allintext:Tarek+Ziad%C3%A9'

Je cherche une méthode afin de formater les caractères ,non-ASCII comme çi-dessus.
afin de fournir comme paramètre a httplib.request(), j'ai regarder dans urllib.urlencode() mais ce n'est pas ce dont j'ai besoin.

Si quelqu'un connait le problème ou si vous avez une solution (j'ai déja tout essayer ce que j'ai pu) merci de poster.

[Luke spywoker]

Bon personne a une idée comment encoder une requète avec des caractères non-ASCII, ce que je comprend pas c'est que quand j'intègre ces lignes qui remplace la requète avec httplib dans mon programme par:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
a=urllib.urlopen('http://www.google.com/search?q=allintext:Tarek+Ziadé')
a.geturl()
'http://www.google.com/search?q=allintext:Tarek+Ziad%C3%A9'
a.read() #pourrait faire l'affaire pour nourrir mon Parser

Fonctionne en ligne de commande alors que quand je donne la meme URL avec la meme méthode intégrer dans mon programme ca ne marche plus et déclenche une erreur:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

<type 'exceptions.UnicodeError'>: URL u'http://www.google.com/search?q=allintitle:Tarek+Ziad\xe9' contains non-ASCII characters

Ou si je procède comme ca:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
a=urllib.urlopen(str(http://www.google.com/search?q=allintext:Tarek+Ziadé))
a.geturl()
'http://www.google.com/search?q=allintext:Tarek+Ziad%C3%A9'
a.read() #pourrait faire l'affaire pour nourrir mon Parser

J'obtiens le traceback suivant:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

<type 'exceptions.UnicodeEncodeError'>: 'ascii' codec can't encode character u'\xe9' in position 52: ordinal not in range(128)

Episode 2:
j'ai réussi a passer une requète non-ASCII avec httplib mais je n'obtiens pas de réponse:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
self.conn=httplib.HTTPConnection('www.google.com')
self.conn.putrequest('POST','/search?q=allintext:Tarek+Ziadé', skip_host=True, skip_accept_encoding=True)
self.antwort=self.conn.getresponse() #ca bug ici maintenant

Le traceback est de type:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
Traceback (innermost last):
  File "/usr/lib/python2.6/dist-packages/Pmw/Pmw_1_3/lib/PmwBase.py", line 1747, in __call__
    return apply(self.func, args)
  File "Googler_144.py", line 973, in googlen
    motor.konnecktion()
  File "Googler_144.py", line 953, in konnecktion
    self.antwort=self.conn.getresponse()
  File "/usr/lib/python2.6/httplib.py", line 976, in getresponse
    raise ResponseNotReady()
<class 'httplib.ResponseNotReady'>:

Ce qui est déja un pas en avant, si quelqu'un sait comment obtenir une réponse, je suppose qu'il faut envoyer la requéte construit avec putrequest() Merci de poster.

[Luke spywoker]

Suite a votre non-assistance de programme qui bug,
et votre non assistance a programmeur énerver parce que son programme bug: j'ai tabasser mon clavier et jeter mon ordinateur par la fenetre qui a malheureusement attéri sur la tete de mon voisin ce qui fait que je vais passer au tribunal pour crime avec ordinateur, du coup je suis le roi du CAC (Computer Aided Crime) dans mon village.
Merci de poster si vous avez une idée sur le sujet (requète non-ASCII avec httplib) ou simplement me dire que ce n'est pas possible...
Si vous savez si peut etre avec le module 2to3, python 3 étant basé sur l'unicode, il y a peut etre une solution mais je crois que dans les URL les caractères spéciaux sont encoder quand meme.
Histoire d'aide psychologique que je tienne le coup pour le procès.

[tyrtamos]

Bonjour Luke spywoker,

Pour accélérer les réponses, et éviter ainsi ta condamnation , je te suggère de nous donner un petit code montrant le problème, mais suffisamment complet pour qu'on puisse l'essayer chez nous par simple copier-coller.

Et dire avec quelle version de Python tu fais ça.

[Luke spywoker]

Je tourne sous Python 2.6.5 et j'ai fait le plus simplement possible:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
 
from Tkinter import *
import httplib
 
def get_filter(event) :
  global select, requete
 
  if int(select.curselection()[0]) == 0 :
    requete.delete(0.0, END)
    requete.insert('0.0', '/search?q='+'intext:'+choosed.get().replace(' ','+'))
  if int(select.curselection()[0]) == 1 :
    requete.delete(0.0, END)
    requete.insert('0.0', '/search?q='+'allintext:'+choosed.get().replace(' ','+'))
  if int(select.curselection()[0]) == 2 :
    requete.delete(0.0, END)
    requete.insert('0.0', '/search?q='+'intitle:'+choosed.get().replace(' ','+'))
  if int(select.curselection()[0]) == 3 :
    requete.delete(0.0, END)
    requete.insert('0.0', '/search?q='+'allintitle:'+choosed.get().replace(' ','+'))  
 
 
def rechercher() :
 
  motor=httplib.HTTPConnection('www.google.com')
  headers={"Content-type":"application/x-www-form-urlencoded","Accept":"text/plain"}
  motor.request('POST', requete.get(0.0, END), body=None, headers=headers) #Ca bug ici !!! peut etre dans la config des headers ???
  response=motor.getresponse() 
  response.read() #Si vous passez une requète contenant des caractères non-ASCII et avez une page html qui sort ici c'est bon.
 
 
fen=Tk()
info_filter=Label(fen, text='Filtres:')
select=Listbox(fen, height=4)
select.insert(0, 'intext')
select.insert(1, 'allintext')
select.insert(2, 'intitle')
select.insert(3, 'allintitle')
select.bind('<Double-Button-1>', get_filter)
info_search=Label(fen, text='Search:')
choosed=Entry(fen)
info=Label(fen, text='Entrez un mot a rechercher\n Avec un|des caractères non-ASCII\net sélectionner le filtre a appliquer.')
info_request=Label(fen, text='request')
but=Button(fen, text='Envoyer requète', command=rechercher)
requete=Text(fen, height=1, width=25)
requete.insert('0.0', '/search?q=')
info_filter.grid(row=0, column=0)
select.grid(row=0, column=1)
info_search.grid(row=1, column=0)
choosed.grid(row=1, column=1)
info.grid(row=0, rowspan=2, column=2)
info_request.grid(row=2, column=0)
requete.grid(row=2, column=1, columnspan=2, sticky=EW)
but.grid(row=3, column=0, columnspan=3, sticky=EW)
choosed.focus_set()
fen.mainloop()

Merci pour ta démarche tyrtamos dans ta volonté de m'aider,
je crois que vais choisir l'injection.

[pacificator]

bonjour,

je colle l'exemple de la doc python:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
>>> import httplib, urllib
>>> params = urllib.urlencode({'@number': 12524, '@type': 'issue', '@action': 'show'})
>>> headers = {"Content-type": "application/x-www-form-urlencoded",
...            "Accept": "text/plain"}
>>> conn = httplib.HTTPConnection("bugs.python.org")
>>> conn.request("POST", "", params, headers)
>>> response = conn.getresponse()
>>> print response.status, response.reason
302 Found
>>> data = response.read()
>>> data
'Redirecting to <a href="http://bugs.python.org/issue12524">http://bugs.python.org/issue12524</a>'
>>> conn.close()

je pense qu'il te faut encoder tes paramètres pour la requete, sans les mettre en dur dans l'url

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

>>> params = urllib.urlencode({'q':  'monthy python'})

Pour ton procès, je me range du côté de la partie civile, pour défendre ce pauvre ordinateur, qui ne fait que ce que tu lui demandes, pov' petit pc

[Luke spywoker]

Meci je n'avais pas vu cette partie de la doc et je me doutais que ce procès de devoir encoder les requètes au lieu de les mettres en dur me pendait au nez, bon au boulot il faut que je remanie mon pogramme et merci mais je ne comprend toujours pas pourquoi des trucs fonctionnent en ligne de commande et pas intéger dans mon programme (voir plus haut) avec urllib, je vous dirai si avec un appel a urllib.urlencode() intégrer dans mon programme marche, j'avais un problème similaire avec la création de fichier en ligne de commande qui fonctionnais mais pas intégrer dans un script exécuter et si dans un programme compiler sous Windows.
Je crois que je vais demander une soupe de langue de serpent comme dernier repas.

[Luke spywoker]

OOOOUIAIS, j'y suis arriver avec un appel a urllib.urlencode() bien sniper dans la requète de httplib:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
import urllib, httplib
headers = {"Content-type": "application/x-www-form-urlencoded", "Accept": "text/plain"}
encoded=urllib.urlencode({'allintitle:':'développez.com'})
conn=httplib.HTTPConnection('www.google.com')
conn.request('GET', '/search?q='+encoded,"",headers)
response=conn.getresponse()
response.read()

J'ai pu nourrir mon parser avec: c'est super grand merci a tyrtamos et a pacificator pour leur soutien et leur aide précieuse.

J'ai été relaxer sous prétexte que c'est l'ordinateur qui est en cause comme responsable du coup sur la tete a mon voisin car il aurai sauter de la fentre par lui meme, c'est lui qui va se présenter a son procès moi je suis hors de cause.