problème avec le module tarfile

Version imprimable

Bonjour,

Je ne comprends pas d'où vient la différence entre 2 manières d'extraire un fichier d'une archive .tar

Voici un bout de code qui montre mon problème :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
 
import os, tarfile, hashlib
path = "/home/test/"
tar_file = "/home/test/tar.tar"
filename = "fichier.txt"
filename2 = "fichier2.txt"
filename3 = "fichier3.txt"
 
def md5sum(filename):
    try:
        f = open(filename, "rb")
    except Exception as e:
        print(e)
        return ""
    md5 = hashlib.md5()
    data = f.read(128)
    while data:
        md5.update(data)
        data = f.read(128)
    f.close()
    return md5.hexdigest()
 
with tarfile.open(tar_file, "w") as tar:
    tar.add(path+filename, arcname=filename3)
    print(md5sum(path+filename))
 
with tarfile.open(tar_file, "r") as tar:
    member = tar.getmember(filename3)
    data = tar.extractfile(member).read()
    with open(path+filename2, "w") as f:
        f.write(data)
    print(md5sum(path+filename2))
 
 
    tar.extract(member, path=path)
    print(md5sum(path+filename))

Seul le md5 de la méthode "tar.extract(member, path=path)" est correct

Qu'est ce qui cloque en passant par read() ?

D'avance merci

13/12/2010, 17h14
Loenix

Bonjour,

J'ai lu et recopier votre script sur mon ordinateur et je vous avoue que je ne voix pas trop ce qui cloche, je n'ai pas compris quel était réellement votre problème. Peut-être est-ce moi qui est mal compris le sens de votre question.

Pourriez-vous expliquer concrètement le cheminement de votre programme et nous pointer du doigt ce qui cloche.

Merci d'avance...

Mickael

J'ai inséré des commentaires dans le code :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
 
import os, tarfile, hashlib
path = "/home/test/"
tar_file = "/home/test/tar.tar"
filename = "fichier.txt"
filename2 = "fichier2.txt"
filename3 = "fichier3.txt"
 
# Ici, on crée le fichier tar avec un fichier.txt
with tarfile.open(tar_file, "w") as tar:
    tar.add(path+filename, arcname=filename3)
    print(md5sum(path+filename))
# On a donc un fichier /home/test/tar.tar dont le "fichier.txt" est directement à la racine
# On calcul le md5 du fichier original qu'on affiche
 
# On va ouvrir le fichier /home/test/tar.tar qu'on vient juste de créer pour en extraire le fichier.
with tarfile.open(tar_file, "r") as tar:
    # ici on récupère une structure TarInfo
    member = tar.getmember(filename3)
    # j'utilise ensuite la methode extractfile avec un .read() pour récupérer le fichier dans un buffer nommé ici "data"
    data = tar.extractfile(member).read()
    # Et enfin j'écris le buffer dans un fichier
    with open(path+filename2, "w") as f:
        f.write(data)
    # je calcule le md5 du fichier (on voit qu'il est différent)
    print(md5sum(path+filename2))
 
    # ici j'extrais le fichier directement sans passer par un buffer
    tar.extract(member, path=path)
    # je calcule le md5 (il est identique au fichier de départ)
    print(md5sum(path+filename))

Vous allez me dire : "Pourquoi ne pas utiliser la seconde méthode qui fonctionne ?"

Dans le cas où la structure du tar est la suivante :
./dossier/plop/pouet/fichier.txt

Quand on extrait avec la seconde méthode, on obtient le fichier ici :
/home/test/dossier/plop/pouet/fichier.txt
Or je veux ce fichier dans un répertoire précis sans tenir compte du chemin relatif indiqué dans le tar

J'espère avoir été plus clair.

13/12/2010, 18h39
Loenix

Bonsoir,

Oui c'est beaucoup plus clair, je vous remercie...
En ce qui concerne la différence de md5, c'est normal, vous mettez les données dans un buffer "data" et vous recréez un nouveau fichier à partir des données du buffer, donc le md5 est forcément différent.

Dans l'autre cas, vous copiez directement le fichier dans un endroit qui visiblement ne vous convient pas, mais il copie l'intégralité du fichier, avec toute ces propriétés et donc son adresse md5, c'est pour cela que dans la deuxième méthode, c'est identique.

Je suppose que vous désirez garder l'adresse md5 et mettre tout dans une racine ^^.
Si oui, je vais devoir encore cherché un petit peu...
Sinon il existe toujours le bricolage pour dépanner :
* On extrait tout dans le path : "/tmp/tempo_extra/"
* On fait une boucle qui parcours tous les fichiers dans chaque dossier et copie les fichiers la ou vous le désirez
* On supprime le dossier : "/tmp/tempo_extra/"

Je continue a fouiller de mon conter...

Mickael
13/12/2010, 18h54
sluke

Ce que je trouve bizarre c'est que la fonction tar.add() possède un argument arcname pour ajouter le "fichier.txt" à n'importe quel endroit. Cependant il n'y a pas l'équivalent pour l'extraction...
13/12/2010, 19h02
Loenix
Bonsoir,

En effet, c'est étrange, me je n'ai pas dis mon dernier mot, j'ai reformulé la partie de l'extraction pour que cela donne sa :
Code:

1 2 3 4 5 tar = tarfile.open(tar_file, "r") liste = tar.getnames() for fname in liste: print fname tar.extract(fname, "")
Cela nous permet de voir le nom des fichiers et leurs emplacements, le mieu serait de pouvoir se placer dans un des dossiers de l'archives et à ce moment il suffirai alors d'extraire uniquement le fichier...

Mickael

[Edit - 13/12/2010 20:00]

Petit édit, parce que je n'arrive pas à voir le but même si j'ai compris le principe... Si cela ne me regarde pas, faites le moi savoir :

* Pourquoi vouloir récupéré uniquement les fichiers d'une archive sans les dossiers (il risque d'y avoir des pertes si deux fichiers on le meme nom dans des dossiers différents)
* Dans le cas ou cela est vraiment important, le sauvegarde de l'adresse md5 l'est-il tout autant ? Sinon utliser la méthode 1

Pour quel projet cette technique est-elle requis ?

Mickael
13/12/2010, 20h28
sluke

Après étude du code source du module, j'ai trouvé ce que je cherchais :

Code:

tar._extract_member(member, "/home/test/fichier.txt")

Pour répondre à ton edit Apocalypses, j'utilise un algorithme perso pour stocker mes fichiers dans un tar puisque dans certains cas (que je ne détaillerai pas) il est possible d'avoir le même nom de fichier mais le contenu différent. Donc je ne peux pas tout stocker à la racine du tar. Je ne peux pas non plus stocker le chemin complet puisque celui-ci est à même de changer d'une machine à l'autre.

Enfin bref, j'ai trouvé mon bonheur avec cette commande.

Merci à toi d'avoir pris de temps de chercher.

Bonne continuation
13/12/2010, 20h31
Loenix

Pas de problème,

L'important c'est que ton problème soit RESOLU :ccool:

Bonne continuation a vous...

Mickael