Discussion :

[marco056]

Bonjour,
J'ai trouvé comment écrire un petit script pour lister les fichiers présents sur une page web. Lorsque je veux les télécharger, j'ai un problème d'autorisation. Voici mon code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
#! /usr/bin/env python
#-*- coding: utf-8 -*-
 
import urllib,urllib2, re
 
from BeautifulSoup import BeautifulSoup
 
url="http:/site.com/"
 
f = urllib2.urlopen(url)
soup = BeautifulSoup(f)
print soup
for link in soup.findAll('a'):
	url_fich=str(url)+str(link.get('href'))
	nom_fich=str(link.get('href'))
	print nom_fich
	print url_fich
	print link.get('href')
	urllib.urlretrieve(url_fich,r'/home/'+nom_fich)

La dernière ligne me donne un message d'erreur. Je soupçonne un problème de droit en écriture mais je n'en suis pas sûr. Quelqu'un pourrait-il m'aider ? Voici le message :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
Traceback (most recent call last):
  File "aspirateur10.py", line 19, in <module>
    urllib.urlretrieve(url_fich,r'/home/'+nom_fich)
  File "/usr/lib/python2.7/urllib.py", line 94, in urlretrieve
    return _urlopener.retrieve(url, filename, reporthook, data)
  File "/usr/lib/python2.7/urllib.py", line 244, in retrieve
    tfp = open(filename, 'wb')
IOError: [Errno 21] Is a directory: '/home/../'

Merci d'avance...

[marco056]

Avec python3, même erreur avec la dernière ligne :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
from bs4 import BeautifulSoup
import urllib.request
 
url="http://site.com/"
 
redditFile = urllib.request.urlopen(url)
redditHtml = redditFile.read()
redditFile.close()
 
soup = BeautifulSoup(redditHtml)
redditAll = soup.find_all("a")
for links in soup.find_all('a'):
	print (links.get('href'))
	url_fich=str(url)+str(links.get('href'))
	nom_fich=str(links.get('href'))
	print (nom_fich)
	print (url_fich)
	urllib.request.urlretrieve(url_fich, nom_fich)

[marco056]

Je me demande si je suis dans la bonne section : j'aurais peut-être dû aller dans "Général python" ?

[tyrtamos]

Bonjour,

Le bon forum aurait pu être "réseaux/web".

Sinon, je suis étonné par le nom de fichier '/home/'+nom_fich': on n'écrit pas directement dans /home mais dans /home/utilisateur. Sinon, l'erreur pour manque de droits est normale.

A part ça, j'ai essayé de charger la page de "site.com", et mon anti-virus me l'a énergiquement déconseillé: site d’hameçonnage.

[marco056]

Merci pour ta réponse, je repars donc sur réseaux / web.
En fait, je n'ai bien sûr pas utilisé /Home (rien tout d'abord pour être dans le répertoire courant puis le dossier exact ensuite)
Site.com était un exemple, je ne savais même pas qu'il existait...
Je n'arrive pas à régler ce problème de droits en écriture.

[marco056]

Réponse dans la partie Réseau / Web pour ceux que cela intéresse...