Recuperer l'arborescence d'une url

Version imprimable

02/11/2008, 18h35
Mydriaze

Recuperer l'arborescence d'une url

Bonjour à tous,

Je voudrais faire un script qui se connecte à un dossier sur mon compte free,
par exemple http://www.bienvenue_chez_mydriaze/dossier_des_images_a_renommer/
et qui me ramene l'arboressence (le chemin et le nom des dossiers et des fichiers)
par exemple :
/dossier_gif
gif1
gif2
..
/dossier_smiley
smiley1
...
/dossier_photo
/dossier_photo/dossier_photo_vacances
photo1
photo2
/dossier_photo/dossier_photo_machin
...

Qu'est ce qu'il faut utiliser comme module et comme commande pour extraire ça?
Je n'ai pas l'hbitude du tout des modules qui travaillent avec le web et je suis completement perdue...

Merci infiniment par avance si vous pouvez m'aider.
02/11/2008, 19h58
fred1599

Bonsoir,

HTMLParser, SGMLParser le font il me semble ainsi que l'excellent BeautifulSoup
02/11/2008, 20h31
Fructidor

En http, il n'y a pas d'équivalent de dir, donc soit tu connais toutes les urls et tu les récupères avec urllib.urlretrieve, soit tu utilises l'interface ftp de free et la librairie ftplib de python (ou tout autre client ftp).

ftp chez free

Bonjour
Voila j'avais fait ceci à partir de la faq FTP de guigui :
Ceci crée un dico par récursivité

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
 
#!/usr/bin/env python
# -*- coding: iso-8859-15 -*-
import ftplib
 
class FtpFree():
  def __init__(self):
    self.ftp = ftplib.FTP('')
    self.ftp.connect("ftpperso.free.fr")
    self.ftp.login("login", "password")
 
  def arbo(self,pathsrc):
    def _download(pathsrc):
      l = self.ftp.nlst(pathsrc)
      for i in l:
        try:
          self.ftp.size(i)
          self.arbo[pathsrc].append(i)
        except:
          if i[-2:]<>r"/." and i[-3:]<>r"/..":
            self.arbo[i]=[]
            _download(i)
    self.arbo={}
    self.arbo[pathsrc]=[]
    _download(pathsrc)
    return self.arbo
 
ftpFree=FtpFree() #Connection
arboftp=ftpFree.arbo(r"/test/") # Création du dico à partir du path FTP
print arboftp

03/11/2008, 08h26
fred1599

Citation:

Voila j'avais fait ceci à partir de la faq FTP de guigui

Ce n'est pas un compte FTP!
03/11/2008, 09h52
alexdevl

Bonjour Fred,

Je n'ai pas vu dans le message de Mydriase une restriction concernant l'utilisation du ftp. Ceci d'autant plus qu'il parle de son compte Free.

Je gère mes comptes Free par ftp (gestion des répertoires...),
et ces dossiers et fichier sont consultable bien sûr par HTTP.

A voir suivant ce qu'il en dit.

Alex
03/11/2008, 10h02
Mydriaze

Bonjour à tous

Merci beaucoup pour le coup de main!!

Je n'ai pas encore testé mais je vous tiens au courant!!

Finalement ce n'est pas si facile que ça à faire... Moi, j'etais partie sur urllib, urllib2, os.getcwd(),... mais ça ce ne sont pas des modules que je connais... J'avais testé aussi cette fonction de guyguy qui est super!!! ça marche pour parser le dd et je pensais donc faire pareil pour ces dossiers à distance...

Beautifulsoup, ce n'est pas la premiere fois qu'on m'en parle , il faut que je me documente dessus... ça marche aussi bien sous windows que sous linux?

Pour le FTP, je peux l'utiliser aussi pour mes pages perso free. On a les 2 acces. Je n'y avais pas pensé au départ parce que j'etais partie sur urllib, mais ça revient au meme... Au contraire ça sera plus rapide.

Je vous tiens au courant dès que j'aurai testé tout ça.

Merci beaucoup!!! :king: