aspirateur site web python3 (python2 initialement)

Version imprimable

Voir 40 message(s) de cette discussion en une page

01/11/2013, 18h37
marco056

aspirateur site web python3 (python2 initialement)
Bonjour,
Je sais que le problème a été abordé maintes fois mais je ne trouve pas mon bonheur.

Voici le code que j'ai pour télécharger un fichier sur un site :
Code:

1 2 3 4 5 6 7 8 9 # en python 2.7 import urllib2 url="http://site/repertoire/fichier.txt" fichier = urllib2.urlopen(url) sortie = open('test.txt','wb') sortie.write(fichier.read()) sortie.close()
Je souhaite maintenant parcourir tout le répertoire "repertoire" et télécharger tous les fichiers txt (ou tous les fichiers même).
J'imagine qu'il faut une boucle pour parcourir la page mais je ne vois pas comment faire. Si quelqu'un peut me donner une piste... (je précise : niveau débutant en python)

Je me réponds à moi-même et je passe à côté pour un problème d'erreur de téléchargement...

Voici mon code dans l'état actuel des choses, j'ai réussi à lister les fichiers.
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 import urllib,urllib2, re from BeautifulSoup import BeautifulSoup url="http://mon site.com/" f = urllib2.urlopen(url) soup = BeautifulSoup(f) print soup for link in soup.findAll('a'): url_fich=str(url)+str(link.get('href')) nom_fich=str(link.get('href')) print nom_fich print url_fich print link.get('href') urllib.urlretrieve(url_fich,r'/home/'+nom_fich)

A nouveau moi...

Pourquoi cela ne marche pas avec la dernière ligne de ma boucle finale

Code:

urllib.request.urlretrieve(url_fich,nom_fich)

alors que la dernière ligne marche-t-elle sinon ? Quelqu'un a une idée ?
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 #! /usr/bin/env python #-*- coding: utf-8 -*- # avec python3 from bs4 import BeautifulSoup import urllib.request url="http://www.math.ens.fr/~millien/" redditFile = urllib.request.urlopen(url) redditHtml = redditFile.read() redditFile.close() soup = BeautifulSoup(redditHtml) redditAll = soup.find_all("a") for links in soup.find_all('a'): print (links.get('href')) url_fich=str(url)+str(links.get('href')) nom_fich=str(links.get('href')) print (type(nom_fich)) print (type(url_fich)) urllib.request.urlretrieve(url_fich,nom_fich) urllib.request.urlretrieve(url+"CVPierreMillien.pdf","cv.pdf")
Je précise que j'ai pris un site au hasard mais qui existe...

02/11/2013, 19h27
wiztricks

Salut,
Vous ne montrez pas ce que contient "nom_fich". Il semble calcule en fonction de l'URL récupérée dans le /href/. Rien ne dit que ce soit un nom de fichier valide et qui plus est désignant un sous-répertoire.
Pourquoi ne pas essayer avec un nom en dur comme 'toto.txt'?
Cela vous permettrait de ne plus avoir le nez sur /urlretrieve/ mais sur le sens des paramètres passes.
- W
02/11/2013, 21h05
marco056

Merci pour votre réponse,
Comme j'ai beaucoup de fichiers à télécharger, je souhaite qu'ils gardent leur nom d'origine. C'est pour cette raison que je mets :

Code:

nom_fich=str(links.get('href'))

Pour moi, chaque fichier est ainsi enregistré sous son nom d'origine.
Je commets une erreur ?
02/11/2013, 21h35
wiztricks

Citation:

Envoyé par marco056

Merci pour votre réponse,
Comme j'ai beaucoup de fichiers à télécharger, je souhaite qu'ils gardent leur nom d'origine. C'est pour cette raison que je mets :

Code:

nom_fich=str(links.get('href'))

Pour moi, chaque fichier est ainsi enregistré sous son nom d'origine.
Je commets une erreur ?

/href/ contient une URL.
Une URL n'est pas toujours un nom de fichier relatif ni valide.
Quel est le rapport entre le fichier qui sauvegarde une page HTML et les fichiers que vous voulez telecharger?
- W
02/11/2013, 22h02
marco056

J'ai un peu de mal à comprendre la question.

Lorsque je lance mon programme, j'obtiens par exemple :

url_fich='http://toto/toto1.pdf'

et

nom_fich='toto1.pdf'

Lorsque je fait : "print(soup)", j'obtiens une liste de fichiers :

Code:

<tr><td class="n"><a href=toto1.pdf">toto1.pdf</a></td><td class="m">2008-Sep-18 20:17:24</td><td class="s">1.1K</td><td class="t">application/octet-stream</td></tr>

Je ne sais pas si je réponds vraiment à la question...

Encore moi !

J'ai trouvé un site qui correspond à peu près au mien : ce n'est pas celui-là mais cela correspond à peu près sauf que je n'ai que des fichiers .pdf. Les 4 premiers fichiers ne m'intéressent pas mais ce sont les seuls qui sont téléchargés avec le code suivant :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 from bs4 import BeautifulSoup import urllib.request url="http://www.aix-mrs.iufm.fr/formations/filieres/ge/data/siteDR/traitement_signal/pdf/" redditFile = urllib.request.urlopen(url) redditHtml = redditFile.read() redditFile.close() soup = BeautifulSoup(redditHtml) # print(soup) redditAll = soup.find_all("a") for links in soup.find_all('a'): print (links.get('href')) url_fich=str(url)+str(links.get('href')) nom_fich=str(links.get('href')) print (type(nom_fich)) print (type(url_fich)) urllib.request.urlretrieve(url_fich,nom_fich)
Moi, ce qui m'intéresse, ce sont les fichiers .pdf.
Voilà mon problème peut-être plus évident ?

03/11/2013, 00h14
wiztricks

Mouais... Un fichier PDF peut faire quelques centaines de Mo, ou plus...
Pas commode d’expédier son contenu dans la réponse HTTP.
Passer de l'URL donnée dans la réponse HTTP a un transfert de fichier via FTP doit être réalise par une librairie quelconque: urllib, beautifull soup,...
Si on regarde la page sous FireBug, on y trouve des trucs comme:

Code:

<a href="TFD.pdf">TFD.pdf</a>

L'instruction:

Code:

url_fich=str(url)+str(links.get('href'))

fabrique quelque chose de pas mal: le href est TFD.pdf, url se termine bien par "/".
Par contre, elle commence par http:.
Si votre intention est de recopier les fichiers dans un répertoire local, il faut aider un peu urllib en la faisant commencer par ftp:

Enfin je commencerai par la.
- W
03/11/2013, 11h11
marco056

Merci pour votre réponse mais je crois que je ne vais pas tarder à abandonner.
Je ne vois pas trop ce qu'il faut faire avec ftp.
J'essaierai cependant dans la journée.

J'ai une centaine de fichiers à télécharger de quelques dizaines de ko chacun. Je voulais gagner du temps avec un script car httrack ne marche pas. Je vais les télécharger un par un, cela ira plus vite...
03/11/2013, 13h16
marco056

Bon, en fait, j'en ai plutôt 300...

Par contre, je ne vois pas comment faire avec ftp car c'est un site http://
03/11/2013, 13h46
wiztricks

Citation:

Envoyé par marco056

Par contre, je ne vois pas comment faire avec ftp car c'est un site http://

Quelle est la difficulté a remplacer http: par ftp: dans une chaîne de caractères?
note: voir s'il ne faut pas appeler le FTP Opener directement.
- W

OK, merci, je ne pensais pas que cela marchait.

Code:

urllib.request.urlretrieve("ftp://..."

marche tout seul mais pas dans la boucle : même erreur qu'avec http://
Code:

1 2 3 4 5 6 Traceback (most recent call last): File "aspirateur11.py", line 32, in <module> urllib.request.urlretrieve(url_fich,nom_fich) File "/usr/lib/python3.3/urllib/request.py", line 191, in urlretrieve tfp = open(filename, 'wb') IsADirectoryError: [Errno 21] Is a directory: '../'

Un nouvel essai de ma part : j'insiste !

Voici mon code (j'ai laissé des essais intermédiaires en commentaires au cas où quelqu'un voudrait tester) :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 #! /usr/bin/env python #-*- coding: utf-8 -*- # marche avec python3 from bs4 import BeautifulSoup import urllib.request url="http://www.aix-mrs.iufm.fr/formations/filieres/ge/data/siteDR/traitement_signal/pdf/" redditFile = urllib.request.urlopen(url) redditHtml = redditFile.read() redditFile.close() liste1=[] liste2=[] soup = BeautifulSoup(redditHtml) # print(soup) redditAll = soup.find_all("a") for links in soup.find_all('a'): source=(links.get('href')) url_fich=url+source # url_fich=url_fich.replace('http','ftp') nom_fich=str(links.get('href')) # print (nom_fich) liste2.append(nom_fich) # print (type(nom_fich)) # print (url_fich) liste1.append(url_fich) # print (type(url_fich)) # urllib.request.urlretrieve(url_fich,nom_fich) # print(liste2) # print(liste1) urllib.request.urlretrieve(liste1[8],liste2[8]) for i,j in zip(liste1,liste2): print(i) print(j) urllib.request.urlretrieve(i,j)
Est-ce quelqu'un est capable de m'expliquer pourquoi mon dernier "urllib.request.urlretrieve(liste1[8],liste2[8]) de la ligne 37 marche alors que ma dernière boucle échoue lamentablement sur les fichiers pdf ?
Cela pourrait peut-être résoudre mon problème...

Salut,
Poster du code c'est bien mais y ajouter la sortie du "run", c'est mieux:

Code:

1
2
3
4
5
6
7
8
9
http://www.aix-mrs.iufm.fr/formations/filieres/ge/data/siteDR/traitement_signal/
pdf/?C=N;O=D
?C=N;O=D
Traceback (most recent call last):
  File "test_bs4.py", line 41, in <module>
    urllib.request.urlretrieve(i,j)
  File "C:\py_env\py3.3-32\lib\urllib\request.py", line 191, in urlretrieve
    tfp = open(filename, 'wb')
OSError: [Errno 22] Invalid argument: '?C=N;O=D'

Pensez vous que '?C=N;O=D' soit un nom de fichier "valide"?
- W

04/11/2013, 12h26
marco056

Désolé pour le message d'erreur que j'avais omis.
Ceci dit, les noms de fichiers non valides sont les seuls à être téléchargés et cela ne résout donc aucun problème à mon sens.
04/11/2013, 12h43
wiztricks

Citation:

Envoyé par marco056

Ceci dit, les noms de fichiers non valides sont les seuls à être téléchargés et cela ne résout donc aucun problème à mon sens.

Avant de boucler vous faites: urllib.request.urlretrieve(liste1[8],liste2[8]).
Et ca récupère bien le fichier...
- W
04/11/2013, 13h18
marco056
Oui, merci.
En faisant :
Code:

1 2 3 for i in range(5,14): urllib.request.urlretrieve(liste1[i],liste2[i])
cela fonctionne.
Je vais maintenant tester cela sur le site qui m'intéresse.
Merci pour votre aide.

Voici un code qui fonctionne si cela intéresse quelqu'un.
Le problème venait non pas de fichiers étranges mais de "faux fichiers" sans nom ou de répertoires vides, je ne sais pas.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
 
#! /usr/bin/env python
#-*- coding: utf-8 -*-
 
# marche avec python3
 
from bs4 import BeautifulSoup
import urllib.request
 
 
url="http://www.aix-mrs.iufm.fr/formations/filieres/ge/data/siteDR/traitement_signal/pdf/"
 
redditFile = urllib.request.urlopen(url)
redditHtml = redditFile.read()
redditFile.close()
 
liste1=[]
liste2=[]
soup = BeautifulSoup(redditHtml)
redditAll = soup.find_all("a")
for links in soup.find_all('a'):
	source=(links.get('href'))
	url_fich=url+source
	nom_fich=str(links.get('href'))
	if nom_fich.endswith(".pdf"):
		liste2.append("traitement_signal/pdf/"+nom_fich)
	if url_fich.endswith(".pdf"):
		liste1.append(url_fich)
 
 
for i,j in zip(liste1,liste2):
	print(i)
	print(j)
	urllib.request.urlretrieve(i,j)

Merci pour votre aide.

27/01/2014, 00h19
marco056
Bonsoir,
Je reviens sur ce programme car je souhaiterais faire la même chose mais en explorant les sous-répertoires. Je cherche désespérément une solution depuis 2 heures...
D'après ce que j'ai compris, le module "os" ne permet cela que sur le disque dur ?

J'ai tenté cela (entre autres) mais évidemment, cela ne fonctionne pas :
Code:

1 2 3 for line in redditFile: print (line)
Si vous avez des idées...

Voir 40 message(s) de cette discussion en une page