Automatiser les tâches Web avec Python

Version imprimable

18/02/2007, 20h48
mpereg

Automatiser les tâches Web avec Python

Bonjour,

J'aimerais créer un script qui pour un petit jeu online qui fasse le travail à ma place pendant que je suis au bureau (gestion de mon perso, saisie des formaulaires en fonction des conditions...)

Je ne connais rien au Python, mais j'en ai entendu du bien. Je sais qu'il existe une librairie Perl WWW::Mechanize qui permet de le faire.

Est-ce qu'on peut le faire avec Python et où on peut trouver de l'aide ?

Merci
19/02/2007, 17h35
anthyme

urllib et urllib2 sont tes amis
06/06/2007, 13h00
KINENVEU
ce message tombe bien, c'est exactement ce que je veux faire. 8-)

par contre, je n'y arrive pas vraiment...

je fais :
Code:

1 2 import urllib pageWeb = urllib.urlopen(webAddress)
mon souci, c'est que lorsque je fais ca, j'obtiens la page ou je dois me logger,
et je ne peux rien faire sans me logger.
"webAddress" est de type ".php", j'imagine que je dois pouvoir lui passer des parametres de connexion (login, password).

mais je ne sais pas du tout comment faire, je n'y connais pas grand chose au principe de connexion sur un site web ...:(

quelqu'un pourrait-il m'eclairer ?

P.S: pour clarifier ce que je veux faire :

je voudrais faire un script python qui "dialogue" avec un site web.
par "dialogue", j'entends pouvoir obtenir des informations (sous forme d'objet? ou de code html, ...),
et egalement pouvoir repondre ( adresseSite.php?reponse=maReponse, ou bien intercepter un popup ?, ...)
06/06/2007, 14h35
Vladislav IV
Comme le dit anthyme, urlib2 est votre ami !
http://docs.python.org/lib/module-urllib2.html

Vous pouvez ouvrir une page avec

Code:

urlopen(page [, data])

Si la page attend des paramètres par GET, il faut les concaténer à l'url. Sur le site de votre jeu, vérifiez si des données de type [...]xxx.php?data1=val1&data2=val2[...]
apparaissent dans la barre d'adresse. Si oui, votre script doit ajouter ces données à l'url pour communiquer :
Code:

1 2 3 4 5 url = 'www.monjeu.com/action.php' data1 = val1 data2 = val2 url += '?data1=' + data1 + '&data2=' + data2 page = urlopen(url)
Si de telles données n'apparaissent pas dans l'adresse, elles sont envoyées par POST, et ne doivent pas être ajoutées à l'adresse :
Code:

1 2 3 4 5 url = 'www.monjeu.com/action.php' data1 = val1 data2 = val2 data = 'data1=' + data1 + '&data2=' + data2 page = urlopen(url, data)
Regardez aussi du côté de la classe 'Request'.

Après avoir appelé une page, si tout va bien, vous devriez récupérer un objet de type pseudo-fichier. Il faudra l'analyser pour interpréter la réponse du site, récupérer la situation du jeu, etc.

Je n'ai pas testé ce que j'avance, mais les grands principes sont là. A vous de jouer ! ;)
07/06/2007, 12h10
Vladislav IV

Une page qui devrai aider : http://www.voidspace.org.uk/python/a...#fetching-urls
07/06/2007, 13h45
KINENVEU

merci a toi, tes conseils m'ont ete precieux pour avancer.

par contre, je n'arrive toujours pas a me faire identifier par le serveur.

j'ai essaye l'exemple de l'article ci-dessus.
(recuperer l'erreur pour avoir le "protocole" pour se faire identifier)

en gros je veux acceder a une page a laquelle on ne peut acceder qu'une fois identifie par le serveur.
or quand je tente d'acceder a la dite page, le serveur ne me renvoie pas d'erreur, mais me redirige simplement vers la page d'authentification.

je pense qu'il y a un truc que je n'ai pas compris quelque part !! 8O
07/06/2007, 15h59
Vladislav IV

C'est normal, je suppose qu'il faut récupérer un identifiant de session et le faire suivre à chaque page où tu veux aller. C'est-à-dire que l'identification se contente de te fournir un "jeton" que tu montres à chaque page pour prouver que tu es bien toi, et éviter les situations à la "chaperon rouge" ;)

Par contre, je ne vois pas comment récupérer cet identifiant... Je ne me suis jamais penché sur l'identification par programmation !
07/06/2007, 16h32
Vladislav IV

Cette page http://www.voidspace.org.uk/python/a...authentication explique comment s'identifier sur un site. Les premières lignes du sous-chapitre contiennent un lien vers un tutorial plus poussé. Je n'ai pas le temps de plonger dedans, mais si j'ai bien compris, les documents expliquent comment se connecter à n'importe quelle page d'un site en faisant suivre l'identification.

Mais outre l'identification, tu vas devoir encore analyser le code des pages récupérées pour connaître la situation de ton jeu... Je te conseille vivement de te mettre à HTML et JavaScript, pour comprendre comment ça marche et pouvoir en tirer ces informations.

Bonne chance !

j'ai essaye ce qui est dans l'exemple :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 from urllib2 import Request, urlopen req = Request(someurl) try: handle = urlopen(req) except IOError, e: if hasattr(e, 'reason'): print 'Nous avons échoué à joindre le serveur.' print 'Raison: ', e.reason elif hasattr(e, 'code'): print 'Le serveurt n'a pu satisfaire la demande.' print 'Code d\' erreur : ', e.code else: # everything is fine
le souci, comme je disais plus haut, c'est que urlopen ne me leve pas d'erreur,
mais me redirige vers la page d'autentification...
donc dans ce cas, je ne vois pas comment faire.

par contre, la voie du jeton d'authentification peut etre une bonne piste aussi, mais je ne sais pas non plus comment faire. :(