Extraction d'information d'un site WEB

Bonjour à tous,

En gros, je cherche à écrire un script en python qui me permette d'extraire des informations d'un site web.
Que je m'explique, j'ai réussi à me connecter avec l'URL au site et j'ai donné les informations qu'il me manquait pour récupérer les données dont j'ai besoin.
Mais après plus rien la réponse du site est vide.
Voici le code que j'ai écrit (désoler pour le manque de commentaire).

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

import urllib import urllib2   class Connexion(object): def __init__(self): self.url = "http://re.jrc.ec.europa.eu/pvgis/apps4/DRcalc.php" #URL du site   def encodageDonnees(self,valeurs): values = {'lat': '48.857','lon' : '2.352'} #données exemple de latitude et de longitude self.donneesComplementaire = urllib.urlencode(values)   def RequeteComplete(self): self.encodageDonnees("") try: req = urllib2.Request(self.url,self.donneesComplementaire)#Requete except IOError: print('erreur') raise reponse = urllib2.urlopen(req)#ouverture de la communication print(reponse)#ecriture du contenue de la page web     serveur = Connexion() serveur.RequeteComplete()

---

Si quelqu'un peu m’expliquer le pourquoi je n'obtiens rien du tout, et peut être comment faire, ce serait très gentil.

http://scrapy.org/ est un framework en python pour faire du scraping. Pensez à vérifier avec votre partenaire qu'il vous a donné les autorisations nécessaires pour crawler son site, sinon cela pourrait s'apparenter à du vol de données ou une tentative d'attaque par requêtes en rafale (Ddos ?).

Salut,

Citation:

---

Envoyé par C.Max1898

Si quelqu'un peu m’expliquer le pourquoi je n'obtiens rien du tout, et peut être comment faire, ce serait très gentil.

---

Dans un premier temps, pas la peine d'écrire un script, la console Python suffit:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12

>>> from urllib2 import Request, urlopen >>> from urllib import urlencode >>> URL = "http://re.jrc.ec.europa.eu/pvgis/apps4/DRcalc.php" >>> data = urlencode({'lat': '48.857','lon' : '2.352'}) >>> request = Request(URL, data) >>> result = urlopen(request) >>> urlopen(request) >>> result = urlopen(request) >>> result.code 200 >>> result.read() ''

---

Ca fonctionne puisque le serveur répond.

Essayons autre chose:

Code:

---

1 2 3 4 5 6 7

>>> request = Request(URL) >>> result = urlopen(request) >>> result.code 200 >>> result.read() "You must give the latitude value with the argument 'lat'\n" >>>

---

Faisons ce qu'il dit:

Code:

---

1 2 3 4 5 6 7 8

>>> data = urlencode({'lat': '48.857'}) >>> request = Request(URL+'?'+data) >>> result = urlopen(request) >>> result.code 200 >>> result.read() "You must give the longitude value with the argument 'lon'\n" >>>

---

Vous notez la différence entre Request(URL+'?'+data) et Request(URL, data)?
Allez farfouiller dans la documentation de Request pour essayer de comprendre.

A vous de trouver les informations à expédier au serveur pour récupérer les informations que vous souhaitez...

- W

Merci beaucoup pour les réponses.
Je suis aussi allé questionner l'administrateur, qui m'a donné quelque information sur le fonctionnement du site.
Je pense qu'avec toutes les données en ma possession, je devrais arriver à faire cette extraction de données.
Merci encore à tous.

Bonjour
le message date un peu mais je pense que tu peux parser le contenu de la page avec Beautiful soup
Je n'ai jamais utilisé mais j'y ai entendu de bonne chose.

http://www.crummy.com/software/BeautifulSoup/

a+