Lister fichiers par FTP pour les stocker dans une Listview idem explorateur Windows

**Supernatural** · 04/10/2018, 09h39

Bonjour,

depuis quelques temps je galère pour récupérer des fichiers d'un serveur par ftp.

Je souhaite récupérer les fichiers contenu dans un dossier (avec des filtres bien sûr) pour les mettre dans une ListView avec un style explorateur Windows (Nom | Modifié le | Type | Taille).

J'ai essayé les fonctions ftp.dir(), ftp.nlst(), etc... mais chacune me pose soucis à un certains stade...

Ci-joint mon code, merci par avance pour votre aide.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
 
def FTP_GET_FilesIntoFolder(self, event):
        try:
            index = self.Cell_listbox.curselection()[0]
            Cell_folder = self.Cell_listbox.get(index)
 
            for i in self.tree.get_children():
                self.tree.delete(i)
 
            FTP_PARAMETERS              = CFG_FILE.get('NETWORK_PARAMETERS', SELECTED_LINE)
            SERVER_NAME, PORT, FTP_PATH = FTP_PARAMETERS.split(";")
            ftp                         = ftplib.FTP()
            ftp.connect(SERVER_NAME, int(PORT))
            ftp.login(FTP_USER, FTP_PASSWORD)
 
            QUELLE METHODE?
 
            #MyList                      = ftp.nlst(FTP_PATH+Cell_folder)
            #MyList                      = ftp.dir(FTP_PATH+Cell_folder)
 
            iFile                       = 0
            FilteredFiles               = []
 
            for file in MyList:
                if file.split('.')[-1]=='txt':
                    continue
                elif file.split('.')[-1]=='io':
                    continue
                else:
                    FilteredFiles.append(file)
 
                    self.tree.insert('', 'end', text=file, values=('date', 'time'))
 
                    iFile+=1
                print(file)
            #if iFile==1:
                #print('One file found')            
            #elif iFile>1:
                #print(iFile, 'files found')
            #else:
                #print('No file found')
 
            return True
        except Exception:
            return False

**wiztricks** · 04/10/2018, 11h13

Salut,

La question serait plutôt de savoir comment récupérer via FTP des attributs tels que date de modification, taille de vos fichiers, ... Et le titre de votre message "Lister fichiers par FTP pour les stocker dans une Listview idem explorateur Windows" n'a qu'un rapport lointain avec le problème que vous cherchez à résoudre.
D'autant que votre serveur FTP sait peut être retourner ces informations sous certaines conditions pour autant qu'il implémente les commandes FTP qui vont bien. Ce qui veut dire qu'il faut déjà vérifier son comportement avec un client FTP standard avant d'essayer d'automatiser cela par programme.
Ce qui devrait déjà vous donner quelques pistes et mots clefs pour faire des recherches sur Internet pour trouver de la documentation, des exemples et arriver à écrire un premier code plus ou moins fonctionnel.
En tous cas, c'est un travail préalable que pas grand monde fera à votre place (puisqu'on ne connaît même pas le serveur ni sa configuration).

- W

**Supernatural** · 04/10/2018, 11h49

Je suis bien d'accord, mais le problème est que je n'ai absolument pas accès aux configuration des serveurs, d'autant plus que la personne qui s'en occupe a fait ça comme un 'cochon', ports configurés en 21 ou 22 etc... (la critique est facile je vous l'accorde).

Je veux retranscrire une application déjà développé sous AutoIt en python.

Sous AutoIt je n'ai eu absolument aucun soucis pour récupérer les fichiers avec leurs attributs. Mais c'est plus difficile avec Python...

Ci on regarde mon code, la fonction ftp.dir(FTP_PATH+Cell_folder) correspondrait le plus à mes attentes avec un resultat comme suit:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
08-13-18  12:59PM                 6112 5b71804e_0_57081_NOK.1
08-13-18  12:59PM                 1651 5b71804e_ProcessLog_0.txt
08-13-18  01:55PM                 6099 5b718d98_0_57082_NOK.1
08-13-18  01:55PM                 1651 5b718d98_ProcessLog_0.txt
08-16-18  12:13PM                 7871 5b756a03_0_4540_NOK.1
08-16-18  12:13PM                 2349 5b756a03_ProcessLog_0.txt
08-20-18  09:58AM                 6216 5b7a8fe7_0_11190_NOK.1

Maintenant comment mettre l'heure au format français dans un premier temps?

Merci

**wiztricks** · 04/10/2018, 12h21

Envoyé par Supernatural

Maintenant comment mettre l'heure au format français dans un premier temps?

Si vous ne pouvez rien faire côté serveur, vous pouvez découper la chaîne de caractères pour récupérer les champs intéressants et les présenter sous un autre format. Si vous trouvez cela trop laborieux, il faut (apprendre à) utiliser les fonctions strftime et strptime du module datetime.

- W

**Supernatural** · 04/10/2018, 12h32

Merci, je vais regarder ça

**Supernatural** · 04/10/2018, 13h21

Du coup je me retrouve le bec dans l'eau avec la fonction ftp.dir() car elle me renvoie None, je ne peux pas la stocker dans un array pour la retravailler.... comment faire?

**wiztricks** · 04/10/2018, 13h40

Salut,

Envoyé par Supernatural

comment faire?

Sauf à rediriger stdout, vous pourriez ouvrir la documentation du client ftp pour voir si ce qu'ils proposent à la place est utilisable.

- W

**Supernatural** · 04/10/2018, 14h11

J'ai trouvé une solution bancale, mais qui fonctionne....

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
ftp                         = ftplib.FTP()
            ftp.connect(SERVER_NAME, int(PORT))
            ftp.login(FTP_USER, FTP_PASSWORD)
 
            ftp.cwd(FTP_PATH+Cell_folder)
            files = []
            ftp.retrlines('LIST', files.append)

**Supernatural** · 05/10/2018, 10h02

Alors j'ai de bonnes nouvelles ^^. J'avance à petits pas. Maintenant il ne me reste plus que le format date qui me pose soucis.

J'utilise la fonction

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

DateTimeftp = ftp.sendcmd('MDTM ' + file)

pour récupérer la date et heure du fichier. Mon soucis et que je dois redécouper la chaîne de caractère pour l'afficher correctement et ajouter 2 heures (à cause de l'heure d'été/hiver).

Mon retour de fonction:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

213 20180420160837

Ci-joint mon code:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
def FTP_GET_FilesIntoFolder(self, event):
        try:
            index = self.Cell_listbox.curselection()[0]
            Cell_folder = self.Cell_listbox.get(index)
 
            for i in self.tree.get_children():
                self.tree.delete(i)
 
            FTP_PARAMETERS              = CFG_FILE.get('NETWORK_PARAMETERS', SELECTED_LINE)
            SERVER_NAME, PORT, FTP_PATH = FTP_PARAMETERS.split(";")
            ftp                         = ftplib.FTP()
            ftp.connect(SERVER_NAME, int(PORT))
            ftp.login(FTP_USER, FTP_PASSWORD)
 
            ftp.cwd(FTP_PATH+Cell_folder)
            files = []
            iFile                       = 0
            FilteredFiles               = []
            #ftp.retrlines('LIST', files.append) 
            files=ftp.nlst()
 
            #print(files)
 
            for file in files:
                DateTimeftp = ftp.sendcmd('MDTM' + file)
                #ModifiedTimeFtp = datetime.strptime(DateTimeftp[4:], "%Y%m%d%H%M%S").strftime("%d %b %Y %H:%M:%S")
                print(DateTimeftp)
 
                if file.split('.')[-1]=='txt':
                    continue
                elif file.split('.')[-1]=='io':
                    continue
                else:
                    FilteredFiles.append(file)
 
            for i in FilteredFiles:
                self.tree.insert('', 'end', text=i, values=('date', ftp.size(i), FTP_PATH+Cell_folder+'/'+i))
                #self.tree.insert('', 'end', text=FilteredFiles, values=('date', 'time'))
 
                    #iFile+=1
                #print(file)
            #if iFile==1:
                #print('One file found')            
            #elif iFile>1:
                #print(iFile, 'files found')
            #else:
                #print('No file found')
 
            return True
        except Exception:
            return False

Merci par avance

**wiztricks** · 05/10/2018, 10h40

Salut,

Envoyé par Supernatural

Mon soucis et que je dois redécouper la chaîne de caractère pour l'afficher correctement et ajouter 2 heures (à cause de l'heure d'été/hiver).

Mon retour de fonction:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

213 20180420160837

C'est quoi le soucis? Découper la chaîne en utilisant des "slices" est assez facile en tous cas, ouvrir votre tuto. préféré pour revoir un peu tout çà serait le premier pas.

- W

**Supernatural** · 05/10/2018, 11h25

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
for i in FilteredFiles:
                DateTimeftp = ftp.sendcmd('MDTM '+i)
                ModifiedTimeFtp = datetime.strptime(DateTimeftp[4:], "%Y%m%d%H%M%S").strftime("%Y/%m/%d %H:%M:%S")
                self.tree.insert('', 'end', text=i, values=(ModifiedTimeFtp, ftp.size(i), FTP_PATH+Cell_folder+'/'+i))

C'est bon à 90%, reste juste le problème d'heure été/hiver...

J'ai déclaré la timezone

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

tz = pytz.timezone('Europe/Paris')

mais après je ne sais pas trop comment l'appliquer

**wiztricks** · 05/10/2018, 11h53

Salut,

Envoyé par Supernatural

mais après je ne sais pas trop comment l'appliquer

C'est une opération à ajouter entre strptime et strftime ou à préciser dans le strptime.

- W

**Supernatural** · 08/10/2018, 10h01

Je reviens à la charge... J'ai trouvé un exemple sur le net... mais je n'arrive pas à l'adapter, j'ai les yeux qui se croisent à force...

J'ai fait ça mais ça ne me retourne pas tout à ait ce que je veux...

Exemple:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
from datetime import datetime
from pytz import timezone
 
fmt = "%Y-%m-%d %H:%M:%S %Z%z"
 
# Current time in UTC
now_utc = datetime.now(timezone('UTC'))
print now_utc.strftime(fmt)
 
# Convert to US/Pacific time zone
now_pacific = now_utc.astimezone(timezone('US/Pacific'))
print now_pacific.strftime(fmt)
 
# Convert to Europe/Berlin time zone
now_berlin = now_pacific.astimezone(timezone('Europe/Berlin'))
print now_berlin.strftime(fmt)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
for i in FilteredFiles:
                DateTimeftp = ftp.sendcmd('MDTM '+i)
                ModifiedTimeFtp = datetime.strptime(DateTimeftp[4:], "%Y%m%d%H%M%S")
                toto = ModifiedTimeFtp.astimezone(timezone('Europe/Berlin'))
                print(toto)

Le retour de la fonction:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

2018-10-05 11:28:02+02:00

au lieu de

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

2018-10-05 13:28:02

**wiztricks** · 08/10/2018, 10h28

Salut,

Envoyé par Supernatural

J'ai fait ça mais ça ne me retourne pas tout à ait ce que je veux...

Déjà si vous voulez convertir un datetime UTC au format "%Y%m%d%H%M%S" en datetime local avec un autre format, vous commencez par pensez à une fonction qui isole cet aspect là:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
def convert(utc_dt):
      ...
      return local_dt

C'est important car çà va vous permettre de tester sur un certain nombre de cas que çà le fait (et éventuellement de poster un code qui permettra de reproduire le soucis rencontré).

Envoyé par Supernatural

Le retour de la fonction:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

2018-10-05 11:28:02+02:00

au lieu de

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

2018-10-05 13:28:02

Vous avez deux solutions:

aller chercher dans la documentation de pytz si on peut dire à la fonction/méthode astimezone de ne pas retourner les informations sur la timezone ou s'il n'y a pas une méthode plus adaptée,
supprimer les derniers caractères de la chaîne actuellement retournée.

- W

**Supernatural** · 08/10/2018, 15h18

Là j'aurai vraiment besoin d'un coup de pouce car je tourne en rond...

Ca c'est OK:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
import datetime as dt  
import pytz
 
gmt = pytz.timezone('GMT')  
gmt = dt.datetime.now(gmt)
 
local_dt = pytz.timezone('Europe/Paris')  
local_dt = gmt.astimezone(local_dt)
 
print('GMT         :', gmt.strftime("%Y-%m-%d %H:%M:%S"))  
print('Europe/Paris:', local_dt.strftime("%Y-%m-%d %H:%M:%S"))

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
for i in FilteredFiles:
                DateTimeftp = ftp.sendcmd('MDTM '+i)
                utc_dt = DateTimeftp[4:]
                self.DT_convertion(utc_dt)
                print(self.DT_convertion(utc_dt))

et ma fonction pour convertir:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
    def DT_convertion(self, utc_dt):
       utc_dt   = datetime.strptime(utc_dt, "%Y%m%d%H%M%S").strftime("%Y-%m-%d %H:%M:%S.%f")
        print(utc_dt)
        local_dt = utc_dt.replace(tzinfo=pytz.UTC)
        local_dt = local_dt.astimezone(pytz.timezone("Europe/Paris"))
        print(local_dt)

**Supernatural** · 09/10/2018, 09h18

La je pédale dans la semoule, je pense que ça doit-être à cause de

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

utc_dt   = datetime.strptime(utc_dt, "%Y%m%d%H%M%S").strftime("%Y-%m-%d %H:%M:%S.%f")

Question personnelle: Pourquoi lorsque je mappe mon serveur, mes fichiers ont la bonne date, alors que lorsque je les listes en ftp, ils ont 2 heures de moins?

**tyrtamos** · 09/10/2018, 18h36

Bonjour,

J'avais déjà remarqué ça. D'après ce que j'ai lu sur le sujet, la date et l'heure renvoyées par le protocole ftp (j'utilise la requête "MDTM" de ce protocole) est toujours le temps universel "UTC" (ex-GMT).
Alors, quand on est en France, on obtient aujourd'hui le temps local en ajoutant 2 heures: +1 heure pour l'écart de fuseau horaire, et +1 heure pour l'heure d'été. Ceci puisque le soleil vient de l'est: il est donc en France avant d'être à Greenwich!

Mais les outils "clients FTP" ne sont pas toujours clairs sur les corrections qu'ils font ou pas. Il y a même des bugs répertoriés sur le sujet. A noter que sur Filezilla, on peut introduire la correction qu'on veut pour que l'heure affichée soit celle qu'on veut.

**Supernatural** · 10/10/2018, 08h16

Oui mais comment corriger ça? C'est une horreur... Ca fait deux jour que je suis là dessus et ù*$^:;ù^$!!!!

**tyrtamos** · 10/10/2018, 09h04

Bonjour,

Voilà une fonction qui extrait le temps de la dernière modif du fichier ftp avec une éventuelle correction pour avoir l'heure locale:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
def datemodifftp(ftp, fichierftp, hlocal=0):
    """retourne la date et heure de la dernière modification du fichier
       en format iso
       si hlocal!=0, correction est faite pour avoir l'heure locale
    """
    date = ftp.sendcmd('MDTM ' + fichierftp)[4:]
    a, m, j = int(date[:4]), int(date[4:6]), int(date[6:8])
    h, mn, s = int(date[8:10]), int(date[10:12]), int(date[12:])
    dt = datetime(a, m, j, h, mn, s)
    dt += timedelta(hours=hlocal)
    return dt.isoformat(sep='_')

La requête "ftp.sendcmd('MDTM ' + fichierftp)[4:]" renvoie une chaine comme "20181009161639", dont on déduit par découpage toutes les données de la date.

Avec une correction comme hlocal=2, on obtient comme résultat: "2018-10-09_18:16:39"

Il est important de faire une correction portant sur l'ensemble de la date, puisqu'une modification d'heure peut faire changer le jour, le mois et même l'année!

Pour plus d'infos sur les calculs de dates: voir la doc du module datetime => https://docs.python.org/3/library/da...odule-datetime.

**Supernatural** · 10/10/2018, 11h09

Ok, merci.

Je n'ai pas pensé au découpage de la chaîne comme tu l'as fais. Par contre j'ai mis la valeur de hHours dans un fichier texte comme ça il est modifiable sans avoir à recompiler.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
def DT_convertion(self, ftp, i):
        utc_dt = ftp.sendcmd('MDTM '+i)[4:]
        a, m, j = int(utc_dt[:4]), int(utc_dt[4:6]), int(utc_dt[6:8])
        h, mn, s = int(utc_dt[8:10]), int(utc_dt[10:12]), int(utc_dt[12:])
        local_dt = datetime(a, m, j, h, mn, s)
        local_dt =local_dt+timedelta(hours=int(DELTA_TIME))
        return local_dt.isoformat(sep=' ')

avec

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

DELTA_TIME           = CFG_FILE.get('FTP_PARAMETERS', 'DeltaTime')

merci à tout le monde pour votre aide.

Lister fichiers par FTP pour les stocker dans une Listview idem explorateur Windows [Python 3.X]

Python

Discussions similaires

Partager

Partager