Comparer deux arborescences (+ fichiers)

Bonjour à tous,

j'essaye désespérément deux parcourir deux arborescence pour par la suite comparer les fichiers des deux arbo.

Par exemple j'ai cet arbo :

c
--Dos1
---Dos11
-----file1
-----file2
---Dos12
-----file1

Et également l'arbo suivante

d
--Dos1
---Dos11
-----file1
-----file2
---Dos12
-----file1

J'aimerai pouvoir parcourir les deux arbos parallèlement et retourner une erreur si un dossier ou un fichier manque dans l'arbo cible (le 2eme dans mon post).

Je vous remercie pour votre aide. Bon après midi.

Cordialement,

Leniouns

Salut,

vous pouvez utiliser dircmp dans le module filecmp. Des exemples d'utilisations sont par exemple ici

Cordialement,
- W

Merci de ton aide.

Je voulais savoir tout de même si ce module permettait de comparer tous les fichiers dans 2 répertoires et sous répertoires.
Suivant mon exemple plus haut, est-ce que le module me permettra de comparer tous les fichiers entre eux ?

Merci de votre aide à tous :ccool:

Salut,

Qu'est ce qui dans la documentation ou les exemples fournis permettent d'en douter? Avez vous essayé d'adapter un des exemples à votre cas? Quels problèmes rencontrez vous? Où est votre code?

- W

Voici mon code :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

def cmpDir(self, directoryLocal, directoryNas): '''         Compare récursivemment les fichiers présents dans les différents répertoire         ''' # Determine the items that exist in both directories d1_contents = set(os.listdir(directoryLocal)) d2_contents = set(os.listdir(directoryNas)) common = list(d1_contents & d2_contents) common_files = [ f for f in common if os.path.isfile(os.path.join(directoryLocal, f)) ] print("Common files:"), common_files   # Compare the directories match, mismatch, errors = filecmp.cmpfiles(directoryLocal, directoryNas, common_files) print('Match:'), match print('Mismatch:'), mismatch print('Errors:'), errors

---

Avec les répertoires comme ceux de mon premier post. Cependant mes listes sont vides (common files, match etc.)

Merci de ton aide

Salut,

Je ne vois pas d'utilisation de "dircmp" dans ce code là.

Pourquoi ne pas simplement commencer par:

Code:

---

filecmp.dircmp(a, b).report_full_closure()

---

- W

Merci de ton aide. Cette fonction est récursive il me semble. Il y a moyen ensuite de récupérer la liste des fichiers qui diffèrent ? Je te remercie

Citation:

---

Envoyé par Leniouns

Merci de ton aide. Cette fonction est récursive il me semble. Il y a moyen ensuite de récupérer la liste des fichiers qui diffèrent ? Je te remercie

---

Il y a toujours "moyen" de coder "un truc".
Le pire étant de faire des "cut&paste" dans le code source.

- W

Quand j'écris ce code

Code:

---

1 2 3

cmp = filecmp.dircmp(directoryLocal, directoryNas) cmp.report_full_closure() print(cmp.left_only)

---

Il m'affiche seulement le dernier fichier de left_only. Il me les affiche pas tous il me semble :(

.report_full_closure() devrait afficher (plus que) ce que vous voulez.

C'est une fonction "récursive" qui crée des contextes de "cmpdir" pour chaque "paire" de répertoires à comparer. Lorsque vous écrivez "print(cmp.left_only)" vous ne récupérez que la "racine", pas les fils.

Le code de .report_full_closure est:

Code:

---

1 2 3 4 5

def report_full_closure(self): # Report on self and subdirs recursively self.report() for sd in self.subdirs.values(): print() sd.report_full_closure()

---

L'implémentation de cmpdir ne permettant pas une surcharge par héritage, vous pouvez faire une fonction "semblable":

Code:

---

1 2 3 4

def report_full(ctx): report(ctx) for sd in ctx.subdirs.values(): report_full(sd)

---

Et écrire une fonction "report" qui récupère la comparaison "courante" pour en sortir ce que vous voulez.
- W

Merci de ton aide mais à quoi correspond ctx ?

sd = subdirectory ?

Tu me suggère donc de créer une fonction report_full et report (qui ressemble fortemment à report de filecmp avec seulement les traitements que je désire).

Citation:

---

Envoyé par Leniouns

à quoi correspond ctx ?
sd = subdirectory ?

---

Comme vous pouvez le constater, la fonction report_full(ctx) est fortement inspirée de la méthode report_full_closure(self) => ctx étant l'équivalent de "self", il ne peut qu'être une instance de filecmp.dircmp.
En gros, report_full s'appelle via un report_full(filecmp.dircmp(a, b)))

sd est une instance de dircmp.
.subdirs est un dict dont les "keys" sont les répertoires "communs" aux deux arborescences "à comparer" et les "values" des instances de dircmp construites pour comparer.

Citation:

---

Tu me suggère donc de créer une fonction report_full et report (qui ressemble fortemment à report de filecmp avec seulement les traitements que je désire).

---

La sortie existante ne vous convenant pas, à vous de coder ce bout là.
Maintenant si vous voulez tout ré-écrire...
- W

Désolé je suis vraiment débutant en Python.

Ce que je ne comprend pas c'est que lorsque je créer une fonction le premier paramètre doit forcemment être self... Du coup je ne peux pas faire ce que tu me proposes :oops:

Citation:

---

Envoyé par Leniouns

Ce que je ne comprend pas c'est que lorsque je créer une fonction le premier paramètre doit forcemment être self... Du coup je ne peux pas faire ce que tu me proposes :oops:

---

Le premier paramètre d'une fonction est ce que vous voulez (et il peut être optionnel).
Le premier paramètre d'une méthode est "l'objet" auquel il va s'appliquer et il n'est pas optionnel. La convention est de nommer ce paramètre "self" (ou "cls" s'il s'agit d'une méthode de classe).
Par défaut, les méthodes sont définies dans le "block" de construction de la classe:

Code:

---

1 2	class A: def m(self): pass

---

Mais vous pourriez écrire:

Code:

---

1 2 3

def _m(self): pass # la chose est "fonction" class A: m = _m # elle devient "méthode"

---

Ce qui change c'est "l'écriture de l'appel à":

• la méthode: a.m()
• la fonction: _m(a)

A l'intérieur de "_m", le premier paramètre appelé "self" pourra jouer le même rôle que la chose soit fonction ou méthode.
-W

D'accord.

Par contre je suis désolé mais je ne vois pas du tout comment faire pour récupérer tous les fichiers qui diffèrent entre les deux répertoires. :(

Citation:

---

Envoyé par Leniouns

Par contre je suis désolé mais je ne vois pas du tout comment faire pour récupérer tous les fichiers qui diffèrent entre les deux répertoires

---

"Il suffit" d'écrire la fonction report(ctx) correspondant à:

Code:

---

1 2 3 4 5 6

def report_full(ctx): report(ctx) for sd in ctx.subdirs.values(): report_full(sd) report_full(filecmp.dircmp(a, b)

---

Le plus simple étant de partir d'un "cut&paste" du source.
Vous avez tout.

- W

Bonjour je suis entrain de travailler sur une autre méthode qui me parait plus accessible pour mon niveau.

Voici le code que j'ai récupéré permettant de récupérer une liste de tous les fichiers présents dans une arborescence :

Code:

---

1 2 3 4 5 6 7

def listdirectory(path): fichier=[] l = glob.glob(path+'\\*') for i in l: if os.path.isdir(i): fichier.extend(listdirectory(i)) else: fichier.append(i) return fichier

---

Par la suite pour récupérer les deux listes des deux arbo je fait comme ceci :

Dans mon main :

Code:

---

1 2 3 4 5

local = "c:\\pat\\PDGS(ESRIN-FTP)" nas1 = "d:\\PDGS(ESRIN-FTP)" nas = nas.NAS() nas.initialize(nas1, nas1) nas.cmpDir(local,nas1)

---

Dans NAS :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12

def cmpDir(self, directoryLocal, directoryNas): '''         Compare les fichiers des deux répertoires         ''' local = directoryLocal nas = directoryNas listLocal = directory.listdirectory(local) listNas = directory.listdirectory(nas) for localFile in listLocal: print(os.path.splitdrive(localFile)) print(str(listLocal)) print(str(listNas))

---

Ainsi je récupère les chemins de tous les fichiers contenus dans les deux arbo.
Maintenant j'aimerai comparer les fichiers (absence, bon chemin, bonne taille...). Mais avant cela il faudrait que pour le disque c: j'enlève des chemins c:\pat et pour le chemin d: il faut que j'enlèbe le chemin d:\

J'ai vu que la fonction os.path.splitdrive(path) renvoit un couple contenant le disque et ensuite le chemin. Comment fait on pour récupérer un élément d'un couple ? Cela marche-t-il comme pour les listes ?

EDIT : En effet cela marche comme les listes. Pour récupérer j'ai juste à faire couple[1].

Sinon avez vous des idées une fois les deux listes obtenues pour comparer les fichiers ? Et comment faire pour enlever le "pat" du premier répertoire? Merci

Je vous remercie de votre aide.

Salut,

Le code de filecmp fait déjà tout çà.

Vous pouvez souhaiter le ré-écrire pour mieux le "comprendre" mais comment espérez arriver à faire à peut prêt la même chose si vous n'êtes pas encore capable de le lire et le comprendre?

Récupérer et adapter un peut l'existant de la méthode report pour lui faire afficher les fichiers "différents" se réduit à:

Code:

---

1 2 3 4 5 6 7 8 9

def report(self): # Print a report on the differences between a and b # Output format is purposely lousy print('diff', self.left, self.right) if self.left_only: self.left_only.sort() print('Only in', self.left, ':', self.left_only) if self.right_only: self.right_only.sort() print('Only in', self.right, ':', self.right_only)

---

Si vous voulez "stocker" les noms complets des fichiers différents dans les deux arborescences, vous pouvez éventuellement créer deux listes "globales"
left et right et y ajouter les fichiers trouvés.

Bon courage
- W

Merci encore une fois de t'occuper de mon problème.

Voici mon code :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

def report(ctx): # Print a report on the differences between a and b # Output format is purposely lousy localDiff = [] nasDiff = [] #print('diff', ctx.left, ctx.right) if ctx.left_only: ctx.left_only.sort() #print('Only in', ctx.left, ':', ctx.left_only) localDiff.append(str(ctx.left) + "\\" + ctx.left_only[0]) print(str(localDiff))   if ctx.right_only: ctx.right_only.sort() #print('Only in', ctx.right, ':', ctx.right_only) nasDiff.append(str(ctx.right) + "\\" + ctx.right_only[0]) print(str(nasDiff))   def report_full(ctx): report(ctx) for sd in ctx.subdirs.values(): report_full(sd)

---

J'ai bien les deux listes avec les fichiers qui diffèrent soit à gauche soit à droite. Par contre j'ai une petite question. Comment faire justement pour retourner ces deux listes ? Merci. ;)

Citation:

---

Comment faire justement pour retourner ces deux listes ?

---

Vous les déclarez en variables globales.

Code:

---

1 2 3 4 5 6 7 8 9 10 11

def report(ctx): # Print a report on the differences between a and b ...   def report_full(ctx): report(ctx) for sd in ctx.subdirs.values(): report_full(sd)   localDiff = [] nasDiff = [] report_full(filecmp.dircmp(a, b)

---

On pourrait faire plus propre en emballant le tout dans une classe ou en les passant en paramètre aux fonctions report_full et report...
- W

Le problème c'est que l'appel de la fontion je le fait dans un autre module :?

Citation:

---

Envoyé par Leniouns

Le problème c'est que l'appel de la fonction je le fait dans un autre module :?

---

Ca c'est une question de tuyauterie qu'on peut essayer de résoudre ainsi:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14

def _report(ctx): # Print a report on the differences between a and b ...   def _report_full(ctx): _report(ctx) for sd in ctx.subdirs.values(): _report_full(sd)   def report_full(a, b): global _left, _right _left = [] _right = [] _report_full(filecmp.dircmp(a, b) return _left, _right

---

Dans le module appelant, vous pouvez faire "from xyz import *", les '_' permettent de masquer toutes les variables "globales" à xyz pour ne récupérer que la fonction report_full.
- W

_left et _right se trouvent dans report(ctx) ?

Citation:

---

Envoyé par Leniouns

_left et _right se trouvent dans report(ctx) ?

---

à la place de localDiff et de nasDiff qui sont les variables dans lesquelles vous rangez le résultat dans le module "appelant"
- W

Nikel ça marche :)

Merci beaucoup !!! :ccool:

RESOLU ! :lol: