Discussion :

[marco056]

Bonjour,
Je sais que le problème a été abordé maintes fois mais je ne trouve pas mon bonheur.

Voici le code que j'ai pour télécharger un fichier sur un site :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
 # en python 2.7
import urllib2
 
url="http://site/repertoire/fichier.txt"
 
fichier = urllib2.urlopen(url)
sortie = open('test.txt','wb')
sortie.write(fichier.read())
sortie.close()

Je souhaite maintenant parcourir tout le répertoire "repertoire" et télécharger tous les fichiers txt (ou tous les fichiers même).
J'imagine qu'il faut une boucle pour parcourir la page mais je ne vois pas comment faire. Si quelqu'un peut me donner une piste... (je précise : niveau débutant en python)

[marco056]

Je me réponds à moi-même et je passe à côté pour un problème d'erreur de téléchargement...

Voici mon code dans l'état actuel des choses, j'ai réussi à lister les fichiers.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
import urllib,urllib2, re
 
from BeautifulSoup import BeautifulSoup
 
url="http://mon site.com/"
 
f = urllib2.urlopen(url)
soup = BeautifulSoup(f)
print soup
for link in soup.findAll('a'):
	url_fich=str(url)+str(link.get('href'))
	nom_fich=str(link.get('href'))
	print nom_fich
	print url_fich
	print link.get('href')
	urllib.urlretrieve(url_fich,r'/home/'+nom_fich)

[marco056]

A nouveau moi...

Pourquoi cela ne marche pas avec la dernière ligne de ma boucle finale

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

urllib.request.urlretrieve(url_fich,nom_fich)

alors que la dernière ligne marche-t-elle sinon ? Quelqu'un a une idée ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
#! /usr/bin/env python
#-*- coding: utf-8 -*-
 
# avec python3
 
from bs4 import BeautifulSoup
import urllib.request
 
 
url="http://www.math.ens.fr/~millien/"
 
redditFile = urllib.request.urlopen(url)
redditHtml = redditFile.read()
redditFile.close()
 
soup = BeautifulSoup(redditHtml)
redditAll = soup.find_all("a")
for links in soup.find_all('a'):
	print (links.get('href'))
	url_fich=str(url)+str(links.get('href'))
	nom_fich=str(links.get('href'))
	print (type(nom_fich))
	print (type(url_fich))
	urllib.request.urlretrieve(url_fich,nom_fich)
 
 
urllib.request.urlretrieve(url+"CVPierreMillien.pdf","cv.pdf")

Je précise que j'ai pris un site au hasard mais qui existe...

[wiztricks]

Salut,
Vous ne montrez pas ce que contient "nom_fich". Il semble calcule en fonction de l'URL récupérée dans le /href/. Rien ne dit que ce soit un nom de fichier valide et qui plus est désignant un sous-répertoire.
Pourquoi ne pas essayer avec un nom en dur comme 'toto.txt'?
Cela vous permettrait de ne plus avoir le nez sur /urlretrieve/ mais sur le sens des paramètres passes.
- W

[marco056]

Merci pour votre réponse,
Comme j'ai beaucoup de fichiers à télécharger, je souhaite qu'ils gardent leur nom d'origine. C'est pour cette raison que je mets :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

nom_fich=str(links.get('href'))

Pour moi, chaque fichier est ainsi enregistré sous son nom d'origine.
Je commets une erreur ?

[wiztricks]

Merci pour votre réponse,
Comme j'ai beaucoup de fichiers à télécharger, je souhaite qu'ils gardent leur nom d'origine. C'est pour cette raison que je mets :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

nom_fich=str(links.get('href'))

Pour moi, chaque fichier est ainsi enregistré sous son nom d'origine.
Je commets une erreur ?

/href/ contient une URL.
Une URL n'est pas toujours un nom de fichier relatif ni valide.
Quel est le rapport entre le fichier qui sauvegarde une page HTML et les fichiers que vous voulez telecharger?
- W

[marco056]

J'ai un peu de mal à comprendre la question.

Lorsque je lance mon programme, j'obtiens par exemple :

url_fich='http://toto/toto1.pdf'

et

nom_fich='toto1.pdf'

Lorsque je fait : "print(soup)", j'obtiens une liste de fichiers :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

<tr><td class="n"><a href=toto1.pdf">toto1.pdf</a></td><td class="m">2008-Sep-18 20:17:24</td><td class="s">1.1K</td><td class="t">application/octet-stream</td></tr>

Je ne sais pas si je réponds vraiment à la question...

[marco056]

Encore moi !

J'ai trouvé un site qui correspond à peu près au mien : ce n'est pas celui-là mais cela correspond à peu près sauf que je n'ai que des fichiers .pdf. Les 4 premiers fichiers ne m'intéressent pas mais ce sont les seuls qui sont téléchargés avec le code suivant :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
from bs4 import BeautifulSoup
import urllib.request
 
 
url="http://www.aix-mrs.iufm.fr/formations/filieres/ge/data/siteDR/traitement_signal/pdf/"
 
redditFile = urllib.request.urlopen(url)
redditHtml = redditFile.read()
redditFile.close()
 
soup = BeautifulSoup(redditHtml)
# print(soup)
redditAll = soup.find_all("a")
for links in soup.find_all('a'):
	print (links.get('href'))
	url_fich=str(url)+str(links.get('href'))
	nom_fich=str(links.get('href'))
	print (type(nom_fich))
	print (type(url_fich))
	urllib.request.urlretrieve(url_fich,nom_fich)

Moi, ce qui m'intéresse, ce sont les fichiers .pdf.
Voilà mon problème peut-être plus évident ?

[wiztricks]

Mouais... Un fichier PDF peut faire quelques centaines de Mo, ou plus...
Pas commode d’expédier son contenu dans la réponse HTTP.
Passer de l'URL donnée dans la réponse HTTP a un transfert de fichier via FTP doit être réalise par une librairie quelconque: urllib, beautifull soup,...
Si on regarde la page sous FireBug, on y trouve des trucs comme:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

<a href="TFD.pdf">TFD.pdf</a>

L'instruction:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

url_fich=str(url)+str(links.get('href'))

fabrique quelque chose de pas mal: le href est TFD.pdf, url se termine bien par "/".
Par contre, elle commence par http:.
Si votre intention est de recopier les fichiers dans un répertoire local, il faut aider un peu urllib en la faisant commencer par ftp:

Enfin je commencerai par la.
- W

[marco056]

Merci pour votre réponse mais je crois que je ne vais pas tarder à abandonner.
Je ne vois pas trop ce qu'il faut faire avec ftp.
J'essaierai cependant dans la journée.

J'ai une centaine de fichiers à télécharger de quelques dizaines de ko chacun. Je voulais gagner du temps avec un script car httrack ne marche pas. Je vais les télécharger un par un, cela ira plus vite...

[marco056]

Bon, en fait, j'en ai plutôt 300...

Par contre, je ne vois pas comment faire avec ftp car c'est un site http://

[wiztricks]

Par contre, je ne vois pas comment faire avec ftp car c'est un site http://

Quelle est la difficulté a remplacer http: par ftp: dans une chaîne de caractères?
note: voir s'il ne faut pas appeler le FTP Opener directement.
- W

[marco056]

OK, merci, je ne pensais pas que cela marchait.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

urllib.request.urlretrieve("ftp://..."

marche tout seul mais pas dans la boucle : même erreur qu'avec http://

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
Traceback (most recent call last):
  File "aspirateur11.py", line 32, in <module>
    urllib.request.urlretrieve(url_fich,nom_fich)
  File "/usr/lib/python3.3/urllib/request.py", line 191, in urlretrieve
    tfp = open(filename, 'wb')
IsADirectoryError: [Errno 21] Is a directory: '../'

[marco056]

Un nouvel essai de ma part : j'insiste !

Voici mon code (j'ai laissé des essais intermédiaires en commentaires au cas où quelqu'un voudrait tester) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
 
#! /usr/bin/env python
#-*- coding: utf-8 -*-
 
# marche avec python3
 
from bs4 import BeautifulSoup
import urllib.request
 
url="http://www.aix-mrs.iufm.fr/formations/filieres/ge/data/siteDR/traitement_signal/pdf/"
 
redditFile = urllib.request.urlopen(url)
redditHtml = redditFile.read()
redditFile.close()
 
liste1=[]
liste2=[]
soup = BeautifulSoup(redditHtml)
# print(soup)
redditAll = soup.find_all("a")
for links in soup.find_all('a'):
	source=(links.get('href'))
	url_fich=url+source
	# url_fich=url_fich.replace('http','ftp')
	nom_fich=str(links.get('href'))
	# print (nom_fich)
	liste2.append(nom_fich)
	# print (type(nom_fich))
	# print (url_fich)
	liste1.append(url_fich)
	# print (type(url_fich))
	# urllib.request.urlretrieve(url_fich,nom_fich)
 
# print(liste2)
# print(liste1)
 
urllib.request.urlretrieve(liste1[8],liste2[8])
 
for i,j in zip(liste1,liste2):
	print(i)
	print(j)
	urllib.request.urlretrieve(i,j)

Est-ce quelqu'un est capable de m'expliquer pourquoi mon dernier "urllib.request.urlretrieve(liste1[8],liste2[8]) de la ligne 37 marche alors que ma dernière boucle échoue lamentablement sur les fichiers pdf ?
Cela pourrait peut-être résoudre mon problème...

[wiztricks]

Salut,
Poster du code c'est bien mais y ajouter la sortie du "run", c'est mieux:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
http://www.aix-mrs.iufm.fr/formations/filieres/ge/data/siteDR/traitement_signal/
pdf/?C=N;O=D
?C=N;O=D
Traceback (most recent call last):
  File "test_bs4.py", line 41, in <module>
    urllib.request.urlretrieve(i,j)
  File "C:\py_env\py3.3-32\lib\urllib\request.py", line 191, in urlretrieve
    tfp = open(filename, 'wb')
OSError: [Errno 22] Invalid argument: '?C=N;O=D'

Pensez vous que '?C=N;O=D' soit un nom de fichier "valide"?
- W

[marco056]

Désolé pour le message d'erreur que j'avais omis.
Ceci dit, les noms de fichiers non valides sont les seuls à être téléchargés et cela ne résout donc aucun problème à mon sens.

[wiztricks]

Ceci dit, les noms de fichiers non valides sont les seuls à être téléchargés et cela ne résout donc aucun problème à mon sens.

Avant de boucler vous faites: urllib.request.urlretrieve(liste1[8],liste2[8]).
Et ca récupère bien le fichier...
- W

[marco056]

Oui, merci.
En faisant :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
for i in range(5,14):
	urllib.request.urlretrieve(liste1[i],liste2[i])

cela fonctionne.
Je vais maintenant tester cela sur le site qui m'intéresse.
Merci pour votre aide.

[marco056]

Voici un code qui fonctionne si cela intéresse quelqu'un.
Le problème venait non pas de fichiers étranges mais de "faux fichiers" sans nom ou de répertoires vides, je ne sais pas.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
 
#! /usr/bin/env python
#-*- coding: utf-8 -*-
 
# marche avec python3
 
from bs4 import BeautifulSoup
import urllib.request
 
 
url="http://www.aix-mrs.iufm.fr/formations/filieres/ge/data/siteDR/traitement_signal/pdf/"
 
redditFile = urllib.request.urlopen(url)
redditHtml = redditFile.read()
redditFile.close()
 
liste1=[]
liste2=[]
soup = BeautifulSoup(redditHtml)
redditAll = soup.find_all("a")
for links in soup.find_all('a'):
	source=(links.get('href'))
	url_fich=url+source
	nom_fich=str(links.get('href'))
	if nom_fich.endswith(".pdf"):
		liste2.append("traitement_signal/pdf/"+nom_fich)
	if url_fich.endswith(".pdf"):
		liste1.append(url_fich)
 
 
for i,j in zip(liste1,liste2):
	print(i)
	print(j)
	urllib.request.urlretrieve(i,j)

Merci pour votre aide.

[marco056]

Bonsoir,
Je reviens sur ce programme car je souhaiterais faire la même chose mais en explorant les sous-répertoires. Je cherche désespérément une solution depuis 2 heures...
D'après ce que j'ai compris, le module "os" ne permet cela que sur le disque dur ?

J'ai tenté cela (entre autres) mais évidemment, cela ne fonctionne pas :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
for line in redditFile:
    print (line)

Si vous avez des idées...