Discussion :

[SeKler]

Bonsoir chère communauté!
Tout d'abord, je me présente, parce que je suis nouveau parmis vous

Je suis Sekler et je code en python depuis peu (1mois), j'ai l'ambition de faire un robot web qui irai chercher des informations sur le web.
Pour le moment, je me débrouille par trop mal, et google m'a bien aidé.

Mais là, je bloque .

Voici mon problème:

Pour mon crawler, je souhaite utiliser un proxy, ici, pas de problème:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
proxy_info = { 'host' : '203.162.163.78', 'port' : 80}
# On créé un handler pour le proxy:
proxy_support = urllib2.ProxyHandler({"http" : "http://%(host)s:%(port)d" % proxy_info})
# On créé un opener utilisant ce handler:
opener = urllib2.build_opener(proxy_support)
# Puis on installe cet opener comme opener par défaut du module urllib2.
urllib2.install_opener(opener)

J'ai trouvé ceci sur le net.

Aussi, le site où j'essaye de me connecter requiert les cookies.

Je faisais donc ceci (avant de prendre un proxy):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
# On active le support des cookies pour urllib2
cookiejar = cookielib.CookieJar()
urlOpener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookiejar))

Ensuite, pour ouvrir mes pages web, je faisais:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
request = urllib2.Request("http://www.lesiteenquestion.net")
url = urlOpener.open(request)

Mais le problème est que je ne sais pas comment faire pour utiliser les cookies ET le proxy.

J'ai essayé des tonnes de truc mais rien à faire

Donc voilà, si vous avez de quoi m'aider, ça serait vraiment sympa. Merci beaucoup.

[mchk0123]

Tu dois chaîner tes 2 handlers lors de l'appel à build_opener.

[mchk0123]

Tu écris un robot dans quel but ?

[SeKler]

Tu dois chaîner tes 2 handlers lors de l'appel à build_opener.

Excuse moi, je ne vois pas ce que vous voulez dire par là, pouvez-vous me copier/coller un code d'exemple svp?

J'écris ce bot dans le but de fournir des statistiques un site.
Il ira se connecter sur le site et stockera des informations comme:

Nombre de membres a chaque heure.
Evolution des statistiques, etc.

Mais à la base, c'est surtout pour "m'entrainer" à la création de bot, voir le fonctionnement, etc.

[mchk0123]

Documentation Python :

build_opener( [handler, ...])

Return an OpenerDirector instance, which chains the handlers in the order given.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

build_opener(proxy_support, cookie_processor)

[fred1599]

http://www.voidspace.org.uk/python/a...francais.shtml

[SeKler]

Merci pour votre aide.

J'ai une dernière question, y a-t-il un historique sous python?

Je m'explique:

Imaginons que je fasse:

urlOpener.open('http://www.site1.com/page1.php')
urlOpener.open('http://www.site1.com/page2.php')

Est-ce que quand j'arriverai sur http://www.site1.com/page2.php, l'historique de ma page précédente sera: http://www.site1.com/page1.php ?

Par exemple, pour un history.back en javascript.

Merci.