Discussion :

[marco056]

Bonjour,
Je sais que le problème a été abordé maintes fois mais je ne trouve pas mon bonheur.

Voici le code que j'ai pour télécharger un fichier sur un site :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
 # en python 2.7
import urllib2
 
url="http://site/repertoire/fichier.txt"
 
fichier = urllib2.urlopen(url)
sortie = open('test.txt','wb')
sortie.write(fichier.read())
sortie.close()

Je souhaite maintenant parcourir tout le répertoire "repertoire" et télécharger tous les fichiers txt (ou tous les fichiers même).
J'imagine qu'il faut une boucle pour parcourir la page mais je ne vois pas comment faire. Si quelqu'un peut me donner une piste... (je précise : niveau débutant en python)

[marco056]

Je me réponds à moi-même et je passe à côté pour un problème d'erreur de téléchargement...

Voici mon code dans l'état actuel des choses, j'ai réussi à lister les fichiers.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
import urllib,urllib2, re
 
from BeautifulSoup import BeautifulSoup
 
url="http://mon site.com/"
 
f = urllib2.urlopen(url)
soup = BeautifulSoup(f)
print soup
for link in soup.findAll('a'):
	url_fich=str(url)+str(link.get('href'))
	nom_fich=str(link.get('href'))
	print nom_fich
	print url_fich
	print link.get('href')
	urllib.urlretrieve(url_fich,r'/home/'+nom_fich)

[marco056]

A nouveau moi...

Pourquoi cela ne marche pas avec la dernière ligne de ma boucle finale

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

urllib.request.urlretrieve(url_fich,nom_fich)

alors que la dernière ligne marche-t-elle sinon ? Quelqu'un a une idée ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
#! /usr/bin/env python
#-*- coding: utf-8 -*-
 
# avec python3
 
from bs4 import BeautifulSoup
import urllib.request
 
 
url="http://www.math.ens.fr/~millien/"
 
redditFile = urllib.request.urlopen(url)
redditHtml = redditFile.read()
redditFile.close()
 
soup = BeautifulSoup(redditHtml)
redditAll = soup.find_all("a")
for links in soup.find_all('a'):
	print (links.get('href'))
	url_fich=str(url)+str(links.get('href'))
	nom_fich=str(links.get('href'))
	print (type(nom_fich))
	print (type(url_fich))
	urllib.request.urlretrieve(url_fich,nom_fich)
 
 
urllib.request.urlretrieve(url+"CVPierreMillien.pdf","cv.pdf")

Je précise que j'ai pris un site au hasard mais qui existe...

[wiztricks]

Salut,
Vous ne montrez pas ce que contient "nom_fich". Il semble calcule en fonction de l'URL récupérée dans le /href/. Rien ne dit que ce soit un nom de fichier valide et qui plus est désignant un sous-répertoire.
Pourquoi ne pas essayer avec un nom en dur comme 'toto.txt'?
Cela vous permettrait de ne plus avoir le nez sur /urlretrieve/ mais sur le sens des paramètres passes.
- W

[marco056]

Merci pour votre réponse,
Comme j'ai beaucoup de fichiers à télécharger, je souhaite qu'ils gardent leur nom d'origine. C'est pour cette raison que je mets :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

nom_fich=str(links.get('href'))

Pour moi, chaque fichier est ainsi enregistré sous son nom d'origine.
Je commets une erreur ?

[wiztricks]

Merci pour votre réponse,
Comme j'ai beaucoup de fichiers à télécharger, je souhaite qu'ils gardent leur nom d'origine. C'est pour cette raison que je mets :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

nom_fich=str(links.get('href'))

Pour moi, chaque fichier est ainsi enregistré sous son nom d'origine.
Je commets une erreur ?

/href/ contient une URL.
Une URL n'est pas toujours un nom de fichier relatif ni valide.
Quel est le rapport entre le fichier qui sauvegarde une page HTML et les fichiers que vous voulez telecharger?
- W