Discussion :

[Andarus]

Je débute en python et je cherche à décompressé des fichiers '.Z', je me casse malheureusement les dent sur l'utilisation de zlib.

J'ai écris ce bout de code qui compresse et décompresse un fichier :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
 
import zlib
 
#testContent est un banal fichier text
with open('testContent', 'r') as f:
    file_content = f.read()
    compress = zlib.compress(file_content)
    with open('testPy.Z', 'wb') as fZ:
        fZ.write(compress)
 
with open('testPy.Z', 'rb') as f:
    file_content = f.read()
    decompressed_content = zlib.decompress(file_content)
    print decompressed_content

Mais le fichier .Z produit est mal formé : impossible à décompressé en ligne de commande avec 'uncompress.real testPy.Z' => 'testPy.Z: not in compressed format'

Deplus si je tente de décompresse un fichier crée grâce à 'compress -v testContent' avec le code suivant :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
with open('testContent.Z', 'rb') as f: # Notice that I open this in binary mode
    file_content = f.read() # Read the compressed binary data
    decompressed_content = zlib.decompress(file_content) # Decompress
    print decompressed_content

l'exception suivante est levée :
"zlib.error: Error -3 while decompressing data: incorrect header check"

[wiztricks]

Salut,

Je débute en python et je cherche à décompressé des fichiers '.Z', je me casse malheureusement les dent sur l'utilisation de zlib.

Le format des fichiers .Z est celui des "archive" unix alors que zlib est .z ou .gz et s'utilise avec gzip.

- W

[Andarus]

Merci, après quelques recherches je n'ai pas trouvé de lib python me permettant de décompressé ces fichiers .Z...

j'ai vue que le format .Z utilisait l'algorithme de compression https://fr.wikipedia.org/wiki/Lempel-Ziv-Welch.
J'ai trouvé un exemple implémentation python de cet algo sur http://rosettacode.org/wiki/LZW_compression#Python.

Mais je n'est pas trouvé d'information sur le format interne de ces fichiers .Z(si quelqu'un connait au autre nom que .Z) header, dictionnaire de départ...
Si quelqu'un possède de plus ample information, Merci d'avance.

[Sve@r]

Le format des fichiers .Z est celui des "archive" unix alors que zlib est .z ou .gz et s'utilise avec gzip.

Bonjour

Je ne comprends pas trop bien. Le code de départ proposé par Andarus fonctionne bien. J'ai un petit fichier texte, il le compresse dans un fichier intermédiaire plus petit que le fichier texte, puis décompresse ce fichier intermédiaire dans une variable qu'il m'affiche et la variable en question contient bien le fichier d'origine.
Toutefois le fait que le fichier soit d'extension ".z" ou ".Z" importe peu ; c'est son contenu qui compte. Je peux très bien compresser (via gzip) un toto dans un toto.xls (pourquoi pas) puis faire un "zcat" de toto.xls et j'aurai alors le contenu de toto. Or la doc de zlib mentionne bien que cette librairie est compatible gzip.
Mais chez-moi non plus je n'arrive pas à appliquer "zcat" ou "gunzip" sur le fichier intermédiaire.

Bref pour moi le problème ne vient pas de l'extension qu'on donne au fichier intermédiaire (surtout sous Linux qui ne se préoccupe absolument pas des extensions) mais soit de la réalité de la compatibilité zlib/gzip ; soit de la façon dont le code utilise cette librairie (peut-être qu'il faut spécifier une option en plus ou autre)...

[wiztricks]

Mais je n'est pas trouvé d'information sur le format interne de ces fichiers .Z(si quelqu'un connait au autre nom que .Z) header, dictionnaire de départ...

Pour la petite histoire, voir ici.
Avec zlib, vous devriez donc lire et décompresser mais pas écrire (et compresser) de fichier .Z.
- W

[Andarus]

Effectivement gzip console décompresse mais pas le module gzip de python:

• je crée un fichier minia ne contenant que le charactère 'a'.

• Code :

  Sélectionner tout - Visualiser dans une fenêtre à part

  $ compress minia

  Crée le fichier minia.Z

• Code :

  Sélectionner tout - Visualiser dans une fenêtre à part

  $ gzip -cd minia.Z

  Affiche bien le contenue du fichier : 'a'
• Toutefois le code python suivant
  

  Code :

  Sélectionner tout - Visualiser dans une fenêtre à part

  1
  2
  3
  4
  5
  import gzip
   
  with gzip.open('minia.Z', 'rb') as f:
      file_content = f.read()
      print(file_content)

  Me renvoie l’exception "OSError: Not a gzipped file"

Désolé j'ai un peu l'impression de tourné en rond...

[wiztricks]

Désolé j'ai un peu l'impression de tourné en rond...

Certes mais vous voulez aller où?

Le format des fichiers .Z est peut être toujours protégé par des brevets.
S'il ne l'est plus, vous avez des solutions de compressions open-source bien meilleures qui ont été publiées. Pourquoi vous prendre le chou avec ce format là?

En tous cas, si votre but est d'avoir une API permettant de... à partir de Python, vous disposez des commandes compress et uncompress. Rien ne vous empêche de lancer un sous-process avec les paramètres qui vont bien pour faire tout ou partie de ce que ne fait pas zlib. Ca ne sera pas plus compliqué à programmer.

- W

[Andarus]

Je ne m’intéresse pas à ce format de compression par amour de l'archéologie informatique, mais car je récupère des données dans ce format.

Je voyais deux avantages à tous faire en python:

• Eviter deux écritures disque les données devant être au final stocker en base.
• Mais surtout ne pas devenir Plateforme dépendant ne connaissant pas encore la configuration du serveur ou la solution sera déployé.

Merci pour votre aide en tout cas cela m'a permis d'y voir plus claire.

[wiztricks]

Je ne m’intéresse pas à ce format de compression par amour de l'archéologie informatique, mais car je récupère des données dans ce format.

Je voyais deux avantages à tous faire en python:

• Eviter deux écritures disque les données devant être au final stocker en base.
• Mais surtout ne pas devenir Plateforme dépendant ne connaissant pas encore la configuration du serveur ou la solution sera déployé.

Vous êtes dépendant de "gzip". Mais il a été porté sur la plupart des environnements.
(par contre, Python n'est pas toujours installé par défaut, ou à la "bonne" version)
Rediriger la sortie de gzip vers un pipe et en stocker le contenu en mémoire se fait aussi en Python.
note: vous pouvez aussi regarder sur PyPI s'il n'existe pas un module externe qui permettrait de faire "mieux".

- W

[Andarus]

Voilà la solution solution à laquelle je suis arrivé :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
import subprocess
 
with open('test.Z', 'rb') as f:
    file_content = f.read()
 
result = subprocess.check_output(['gzip', '-cd'], input = file_content)
 
print(result.decode('utf-8'))

Merci à tout ceux qui ont pris sur leur temps pour me répondre.