Discussion :

[wiztricks]

Je reviens sur ce programme car je souhaiterais faire la même chose mais en explorant les sous-répertoires. Je cherche désespérément une solution depuis 2 heures...

"en explorant les sous-répertoires" d'un site web?
C'est "complique" car le serveur web répond un peu comme il veut aux requêtes HTTP. C'est ce qui rend les crawlers difficiles a construire: chaque site pouvant demander des règles spécifiques.
Sans codage spécifique, vous arriverez difficilement a faire mieux que wget.

- W

[tyrtamos]

Bonjour,

Tiens, j'ai toujours pensé qu'on ne pouvait pas parcourir les sous-répertoires du serveur en http. Pour atteindre un fichier situé dans un sous-répertoire, il faut que son adresse ait été citée dans l'une des pages web déjà examinée du site. Et cette limitation n'empêche absolument pas le bon fonctionnement des aspirateurs de site web.

Par contre, le parcours récursif des sous-répertoires est possible avec FTP (avec les droits qu'il faut), et heureusement pour la gestion des sites!

[marco056]

Merci à vous, je suis effectivement passé par wget, bien que ce ne soit mon voeu initial.
Cela a le mérite de marcher...
Cela fonctionne sous python 2 et 3.
On peut le faire aussi directement en ligne de commande (au moins sous linux).
Voici mon code au cas où :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
import subprocess
 
url="http://le_site_a_télécharger/"
subprocess.call(["wget", "-r", "-np", "-nd", "-A.jpg", "-A.tex", url])