Discussion :

[tomazi75]

Bonjour,

Je souhaite utiliser Python pour faire des requêtes web. Pour l'instant j'essaye avec l'urllib2

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
 
import urllib2
 
proxy_info = { 'host' : 'netcache.monentreprise.com',
               'port' : 3128,
               'user' : 'gaston.lagaffe',
               'pass' : 'jeanne55'
             }
 
proxy_support = urllib2.ProxyHandler({"http" : "http://%(user)s:%(pass)s@%(host)s:%(port)d" % proxy_info})
opener = urllib2.build_opener(proxy_support)
urllib2.install_opener(opener)
 
print "Proxies", urllib2.getproxies()

On obtient {} pour les proxies alors que justement je l'ai spécifié avant ...

Est-ce que c'est bien comme ça que fonctionne l'urllib2 ? De votre côté vous utilisez quoi comme librairie pour faire ce genre de requêtes ?

Merci

PS : ma version :
ActivePython 2.4.1 Build 247 (ActiveState Corp.) based on Python 2.4.1 (#65, Jun 20 2005, 17:01:55) [MSC v.1310 32 bit (Intel)] on win32

[tomazi75]

Pour ceux que ça intéresse, je me réponds à moi même : apparemment l'urllib2 est buggée (les proxies authentifiants ne fonctionnent pas), de plus elle ne supporte pas le passage par proxy pour des connexions HTTPS.

Bref, très en-dessous de la LWP de Perl (sans polémiquer, puisque ceci est basé sur des faits).

Je jette un oeil à pyCurl, ça marche déjà mieux même si c'est un peu bizarre à utiliser (pas très philosophie Python)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
 
import pycurl
 
c = pycurl.Curl()
c.setopt(pycurl.URL, "http://sf.net")
 
c.setopt(pycurl.PROXY,"127.0.0.1:1234")
c.setopt(pycurl.PROXYUSERPWD,"login:passwd")
 
c.setopt(pycurl.FOLLOWLOCATION, 1)
c.perform()

[lifido]

lut, desoler, de pas t'aide
tu ne sauras pas comment onts faist pour entre un mots dans les Entry de la page web avec python
du type, tu tape le mots a chercher sur yahhoo, et go touts en python scripts*

[tomazi75]

Bonjour,

J'ai pas bien compris ce que tu voulais faire, si c'est juste récupérer les résultats d'une recherche dans un moteur de type yahoo, ça devrait pas être très compliqué avec pycurl.

PS : Si c'est possible pourrais-tu écrire mieux la prochaine fois pour que ce soit plus facile de te répondre ? Merci
PS2 : Tu aurais pu faire un nouveau sujet histoire de pas tout mélanger ça ne serait pas du luxe !