Discussion :

[Chris33]

Je n'arrive pas à lancer une requête sur les pages jaunes.
Voici mon script:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
#!/usr/bin/python
 
import cookielib, urllib, urllib2
import os.path
import sys
 
COOKIEFILE = 'cookies.lwp' #### le chemin et fichier pour sauvegarder vos cookies
cj = None
quoiqui = 'restaurant'
ou = 'paris'
 
 
urlopen = urllib2.urlopen
Request = urllib2.Request
cj = cookielib.LWPCookieJar() 
 
if os.path.isfile(COOKIEFILE):
	cj.load(COOKIEFILE)
 
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
urllib2.install_opener(opener)
 
mon_url = 'http://pagesjaunes.fr/'
 
# On envoie login/password au site qui nous renvoie un cookie de session
values = {'quoiqui':quoiqui, 'ou':ou }
txdata = urllib.urlencode(values)
 
txheaders =  {'User-agent' : 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'}	
 
try:
	req = Request(mon_url, txdata, txheaders) ### création d'un objet request
	handle = urlopen(req) ### on l'ouvre pour renvoyer un handle sur l'url
	# Ecriture :
	f = open("pages_jaunes.html", "w")
	f.write(handle.read())
	f.close()
	# Lecture :
	f = open("pages_jaunes.html", "r")
	var="--- Non la bonne page n'a pas été trouvée!"
	for ligne in f:
		mot_recherche=quoiqui
		if mot_recherche in ligne:
			var="--- Oui la bonne page est affichée."
	print var
	print
	f.close()
 
except IOError, e:
    print '--- ERREUR'
    sys.exit()
else:
    print handle.headers
 
 
print '--- Voici les cookies:'
for index, cookie in enumerate(cj):
    print index, '  :  ', cookie
cj.save(COOKIEFILE)

Je n'ai pas de message d'erreur mais je n'obtiens pas la page des résultats!!!

Merci à qui peut m'aider.

[DelphiManiac]

Quand tu fais un post, c'est à l'adresse url du post qu'il faut le faire. Dans ton cas, le forumlaire de recherche à la valeur action="http://www.pagesjaunes.fr/trouverlesprofessionnels/rechercheClassique.do;jsessionid=xxxxxxxxxxxxxxxxxxxxx?idContext=-xxxxxxxxxxxxx&portail=PJ"

Il faut donc que dans ton code, ta variable mon_url corresponde à l'action du post :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
mon_url = 'http://www.pagesjaunes.fr/trouverlesprofessionnels/rechercheClassique.do'

Je n'ai pas détaillé les paramètres jsessionid, idcontext, à toi de voir s'il sont nécessaires. Je n'en ai pas l'impression.

[Chris33]

Grand merci pour la réponse. Je confirme ça marche et les paramètres jsessionid, idcontext, ne sont pas nécessaires.

[mslider]

dommage que seule la première page soit récupérée.
Comment récupérer plusieurs pages de réponses ?