aspirateur site web python3 (python2 initialement)

Bonjour,
Je sais que le problème a été abordé maintes fois mais je ne trouve pas mon bonheur.

Voici le code que j'ai pour télécharger un fichier sur un site :

Code:

---

1 2 3 4 5 6 7 8 9

# en python 2.7 import urllib2   url="http://site/repertoire/fichier.txt"   fichier = urllib2.urlopen(url) sortie = open('test.txt','wb') sortie.write(fichier.read()) sortie.close()

---

Je souhaite maintenant parcourir tout le répertoire "repertoire" et télécharger tous les fichiers txt (ou tous les fichiers même).
J'imagine qu'il faut une boucle pour parcourir la page mais je ne vois pas comment faire. Si quelqu'un peut me donner une piste... (je précise : niveau débutant en python)

Je me réponds à moi-même et je passe à côté pour un problème d'erreur de téléchargement...

Voici mon code dans l'état actuel des choses, j'ai réussi à lister les fichiers.

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

import urllib,urllib2, re   from BeautifulSoup import BeautifulSoup   url="http://mon site.com/"   f = urllib2.urlopen(url) soup = BeautifulSoup(f) print soup for link in soup.findAll('a'): url_fich=str(url)+str(link.get('href')) nom_fich=str(link.get('href')) print nom_fich print url_fich print link.get('href') urllib.urlretrieve(url_fich,r'/home/'+nom_fich)

---

A nouveau moi...

Pourquoi cela ne marche pas avec la dernière ligne de ma boucle finale

Code:

---

urllib.request.urlretrieve(url_fich,nom_fich)

---

alors que la dernière ligne marche-t-elle sinon ? Quelqu'un a une idée ?

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27

#! /usr/bin/env python #-*- coding: utf-8 -*-   # avec python3   from bs4 import BeautifulSoup import urllib.request     url="http://www.math.ens.fr/~millien/"   redditFile = urllib.request.urlopen(url) redditHtml = redditFile.read() redditFile.close()   soup = BeautifulSoup(redditHtml) redditAll = soup.find_all("a") for links in soup.find_all('a'): print (links.get('href')) url_fich=str(url)+str(links.get('href')) nom_fich=str(links.get('href')) print (type(nom_fich)) print (type(url_fich)) urllib.request.urlretrieve(url_fich,nom_fich)     urllib.request.urlretrieve(url+"CVPierreMillien.pdf","cv.pdf")

---

Je précise que j'ai pris un site au hasard mais qui existe...

Salut,
Vous ne montrez pas ce que contient "nom_fich". Il semble calcule en fonction de l'URL récupérée dans le /href/. Rien ne dit que ce soit un nom de fichier valide et qui plus est désignant un sous-répertoire.
Pourquoi ne pas essayer avec un nom en dur comme 'toto.txt'?
Cela vous permettrait de ne plus avoir le nez sur /urlretrieve/ mais sur le sens des paramètres passes.
- W

Merci pour votre réponse,
Comme j'ai beaucoup de fichiers à télécharger, je souhaite qu'ils gardent leur nom d'origine. C'est pour cette raison que je mets :

Code:

---

nom_fich=str(links.get('href'))

---

Pour moi, chaque fichier est ainsi enregistré sous son nom d'origine.
Je commets une erreur ?

Citation:

---

Envoyé par marco056

Merci pour votre réponse,
Comme j'ai beaucoup de fichiers à télécharger, je souhaite qu'ils gardent leur nom d'origine. C'est pour cette raison que je mets :

Code:

---

nom_fich=str(links.get('href'))

---

Pour moi, chaque fichier est ainsi enregistré sous son nom d'origine.
Je commets une erreur ?

---

/href/ contient une URL.
Une URL n'est pas toujours un nom de fichier relatif ni valide.
Quel est le rapport entre le fichier qui sauvegarde une page HTML et les fichiers que vous voulez telecharger?
- W

J'ai un peu de mal à comprendre la question.

Lorsque je lance mon programme, j'obtiens par exemple :

url_fich='http://toto/toto1.pdf'

et

nom_fich='toto1.pdf'

Lorsque je fait : "print(soup)", j'obtiens une liste de fichiers :

Code:

---

<tr><td class="n"><a href=toto1.pdf">toto1.pdf</a></td><td class="m">2008-Sep-18 20:17:24</td><td class="s">1.1K</td><td class="t">application/octet-stream</td></tr>

---

Je ne sais pas si je réponds vraiment à la question...

Encore moi !

J'ai trouvé un site qui correspond à peu près au mien : ce n'est pas celui-là mais cela correspond à peu près sauf que je n'ai que des fichiers .pdf. Les 4 premiers fichiers ne m'intéressent pas mais ce sont les seuls qui sont téléchargés avec le code suivant :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

from bs4 import BeautifulSoup import urllib.request     url="http://www.aix-mrs.iufm.fr/formations/filieres/ge/data/siteDR/traitement_signal/pdf/"   redditFile = urllib.request.urlopen(url) redditHtml = redditFile.read() redditFile.close()   soup = BeautifulSoup(redditHtml) # print(soup) redditAll = soup.find_all("a") for links in soup.find_all('a'): print (links.get('href')) url_fich=str(url)+str(links.get('href')) nom_fich=str(links.get('href')) print (type(nom_fich)) print (type(url_fich)) urllib.request.urlretrieve(url_fich,nom_fich)

---

Moi, ce qui m'intéresse, ce sont les fichiers .pdf.
Voilà mon problème peut-être plus évident ?

Mouais... Un fichier PDF peut faire quelques centaines de Mo, ou plus...
Pas commode d’expédier son contenu dans la réponse HTTP.
Passer de l'URL donnée dans la réponse HTTP a un transfert de fichier via FTP doit être réalise par une librairie quelconque: urllib, beautifull soup,...
Si on regarde la page sous FireBug, on y trouve des trucs comme:

Code:

---

<a href="TFD.pdf">TFD.pdf</a>

---

L'instruction:

Code:

---

url_fich=str(url)+str(links.get('href'))

---

fabrique quelque chose de pas mal: le href est TFD.pdf, url se termine bien par "/".
Par contre, elle commence par http:.
Si votre intention est de recopier les fichiers dans un répertoire local, il faut aider un peu urllib en la faisant commencer par ftp:

Enfin je commencerai par la.
- W

Merci pour votre réponse mais je crois que je ne vais pas tarder à abandonner.
Je ne vois pas trop ce qu'il faut faire avec ftp.
J'essaierai cependant dans la journée.

J'ai une centaine de fichiers à télécharger de quelques dizaines de ko chacun. Je voulais gagner du temps avec un script car httrack ne marche pas. Je vais les télécharger un par un, cela ira plus vite...

Bon, en fait, j'en ai plutôt 300...

Par contre, je ne vois pas comment faire avec ftp car c'est un site http://

Citation:

---

Envoyé par marco056

Par contre, je ne vois pas comment faire avec ftp car c'est un site http://

---

Quelle est la difficulté a remplacer http: par ftp: dans une chaîne de caractères?
note: voir s'il ne faut pas appeler le FTP Opener directement.
- W

OK, merci, je ne pensais pas que cela marchait.

Code:

---

urllib.request.urlretrieve("ftp://..."

---

marche tout seul mais pas dans la boucle : même erreur qu'avec http://

Code:

---

1 2 3 4 5 6

Traceback (most recent call last): File "aspirateur11.py", line 32, in <module> urllib.request.urlretrieve(url_fich,nom_fich) File "/usr/lib/python3.3/urllib/request.py", line 191, in urlretrieve tfp = open(filename, 'wb') IsADirectoryError: [Errno 21] Is a directory: '../'

---

Un nouvel essai de ma part : j'insiste !

Voici mon code (j'ai laissé des essais intermédiaires en commentaires au cas où quelqu'un voudrait tester) :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42

#! /usr/bin/env python #-*- coding: utf-8 -*-   # marche avec python3   from bs4 import BeautifulSoup import urllib.request   url="http://www.aix-mrs.iufm.fr/formations/filieres/ge/data/siteDR/traitement_signal/pdf/"   redditFile = urllib.request.urlopen(url) redditHtml = redditFile.read() redditFile.close()   liste1=[] liste2=[] soup = BeautifulSoup(redditHtml) # print(soup) redditAll = soup.find_all("a") for links in soup.find_all('a'): source=(links.get('href')) url_fich=url+source # url_fich=url_fich.replace('http','ftp') nom_fich=str(links.get('href')) # print (nom_fich) liste2.append(nom_fich) # print (type(nom_fich)) # print (url_fich) liste1.append(url_fich) # print (type(url_fich)) # urllib.request.urlretrieve(url_fich,nom_fich)   # print(liste2) # print(liste1)   urllib.request.urlretrieve(liste1[8],liste2[8])   for i,j in zip(liste1,liste2): print(i) print(j) urllib.request.urlretrieve(i,j)

---

Est-ce quelqu'un est capable de m'expliquer pourquoi mon dernier "urllib.request.urlretrieve(liste1[8],liste2[8]) de la ligne 37 marche alors que ma dernière boucle échoue lamentablement sur les fichiers pdf ?
Cela pourrait peut-être résoudre mon problème...

Salut,
Poster du code c'est bien mais y ajouter la sortie du "run", c'est mieux:

Code:

---

1 2 3 4 5 6 7 8 9

http://www.aix-mrs.iufm.fr/formations/filieres/ge/data/siteDR/traitement_signal/ pdf/?C=N;O=D ?C=N;O=D Traceback (most recent call last): File "test_bs4.py", line 41, in <module> urllib.request.urlretrieve(i,j) File "C:\py_env\py3.3-32\lib\urllib\request.py", line 191, in urlretrieve tfp = open(filename, 'wb') OSError: [Errno 22] Invalid argument: '?C=N;O=D'

---

Pensez vous que '?C=N;O=D' soit un nom de fichier "valide"?
- W

Désolé pour le message d'erreur que j'avais omis.
Ceci dit, les noms de fichiers non valides sont les seuls à être téléchargés et cela ne résout donc aucun problème à mon sens.

Citation:

---

Envoyé par marco056

Ceci dit, les noms de fichiers non valides sont les seuls à être téléchargés et cela ne résout donc aucun problème à mon sens.

---

Avant de boucler vous faites: urllib.request.urlretrieve(liste1[8],liste2[8]).
Et ca récupère bien le fichier...
- W

Oui, merci.
En faisant :

Code:

---

1 2 3

for i in range(5,14): urllib.request.urlretrieve(liste1[i],liste2[i])

---

cela fonctionne.
Je vais maintenant tester cela sur le site qui m'intéresse.
Merci pour votre aide.

Voici un code qui fonctionne si cela intéresse quelqu'un.
Le problème venait non pas de fichiers étranges mais de "faux fichiers" sans nom ou de répertoires vides, je ne sais pas.

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34

#! /usr/bin/env python #-*- coding: utf-8 -*-   # marche avec python3   from bs4 import BeautifulSoup import urllib.request     url="http://www.aix-mrs.iufm.fr/formations/filieres/ge/data/siteDR/traitement_signal/pdf/"   redditFile = urllib.request.urlopen(url) redditHtml = redditFile.read() redditFile.close()   liste1=[] liste2=[] soup = BeautifulSoup(redditHtml) redditAll = soup.find_all("a") for links in soup.find_all('a'): source=(links.get('href')) url_fich=url+source nom_fich=str(links.get('href')) if nom_fich.endswith(".pdf"): liste2.append("traitement_signal/pdf/"+nom_fich) if url_fich.endswith(".pdf"): liste1.append(url_fich)     for i,j in zip(liste1,liste2): print(i) print(j) urllib.request.urlretrieve(i,j)

---

Merci pour votre aide.

Bonsoir,
Je reviens sur ce programme car je souhaiterais faire la même chose mais en explorant les sous-répertoires. Je cherche désespérément une solution depuis 2 heures...
D'après ce que j'ai compris, le module "os" ne permet cela que sur le disque dur ?

J'ai tenté cela (entre autres) mais évidemment, cela ne fonctionne pas :

Code:

---

1 2 3

for line in redditFile: print (line)

---

Si vous avez des idées...

Citation:

---

Envoyé par marco056

Je reviens sur ce programme car je souhaiterais faire la même chose mais en explorant les sous-répertoires. Je cherche désespérément une solution depuis 2 heures...

---

"en explorant les sous-répertoires" d'un site web?
C'est "complique" car le serveur web répond un peu comme il veut aux requêtes HTTP. C'est ce qui rend les crawlers difficiles a construire: chaque site pouvant demander des règles spécifiques.
Sans codage spécifique, vous arriverez difficilement a faire mieux que wget.

- W

Bonjour,

Tiens, j'ai toujours pensé qu'on ne pouvait pas parcourir les sous-répertoires du serveur en http. Pour atteindre un fichier situé dans un sous-répertoire, il faut que son adresse ait été citée dans l'une des pages web déjà examinée du site. Et cette limitation n'empêche absolument pas le bon fonctionnement des aspirateurs de site web.

Par contre, le parcours récursif des sous-répertoires est possible avec FTP (avec les droits qu'il faut), et heureusement pour la gestion des sites!

Merci à vous, je suis effectivement passé par wget, bien que ce ne soit mon voeu initial.
Cela a le mérite de marcher...
Cela fonctionne sous python 2 et 3.
On peut le faire aussi directement en ligne de commande (au moins sous linux).
Voici mon code au cas où :

Code:

---

1 2 3 4 5

import subprocess   url="http://le_site_a_télécharger/" subprocess.call(["wget", "-r", "-np", "-nd", "-A.jpg", "-A.tex", url])

---