Discussion :

[fanadonf]

Bonjour,

Débutant en python j'aimerai avoir des conseils sur la meilleur implémentation à utiliser pour la lecture du contenu d'une archive .zip (un fichier de log en fait) sans pour autant "dezipper" celui-ci comme le ferai un zcat en script.(pour info les fichiers font plusieurs centaines de mégas)

Autre question, existe t'il des fonctions de bases pour la gestion des dates, l'idée ici c'est de récupérer dans un répertoire les noms de fichiers "zippes" correspondant à une saisie clavier par exemple une date de début de recherche et une durée de recherche type 3 jours à partir de la date /une semaine / deux semaine / un mois etc /etc..
sachant qu'il y a un fichier par jours..

Merci par avance pour vos conseils

Cordialement,
François

[KINENVEU]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

import zipfile

[mchk0123]

Salut,

pour des fichiers décompréssés > 100 Mo, l'idéal serait d'éviter de tout décompresser en mémoire (même la mémoire peut avoir ses limites). Le mieux serait (tout dépend de ce que tu veux faire avec ces fichiers) de ne scanner le zip que pour extraire la table de structure des fichiers/répertoires.
Cependant, je ne sais pas si c'est faisable directement avec zipfile.

Pour les dates, c'est plus simple, le module 'date' permet de faire beaucoup de chose.

Enfin, si tu dois décompresser tes logs dans des zips juste pour extraire des noms & dates de fichiers, le mieux serait de créer, en même temps que tes logs, une BdD d'index contenant ces informations là.

[fanadonf]

Bonjour,

En faite l'idée c'est de récupérer des informations contenues dans ces logs qui sont compressées en .zip (tailles 100 Mo en moyenne compressées)
le module zipfile semble ne pas correspondre (fichiers trop gros).. pour le moment je "dezip" l'archive mais cela est très très long, je désirerai trouver un équivalent à la commande zcat pour récuperer le fichier ligne par ligne analyser sans devoir le decompresser, pour le moment je test avec un os.popen mais ça fonctionne pas....
Si vous avez une idée et surtout une bonne méthode... merci par avance

François

[mchk0123]

Bonjour,

Est-ce que tu as essayé la méthode infolist() de ZipFile ?

Quelque chose comme :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
import zipfile
 
z = zipfile.ZipFile('log.zip', 'r')
l = z.infolist()
for i in l:
    print i.filename

[fanadonf]

Bonjour,

Oui j'ai essayé cette méthode mais sans résultat, je cherche un truc du style :

zcat=os.popen ("zcat "+fichier+"|grep "+user_id,"r")

L'idée c'est de récupérer le résultat de la commande unix faute de mieux mais ça marche pas...

[fanadonf]

Bonjour,
J'ai essayé également avec cette méthode :


(sout,serr) = subprocess.Popen(['zcat test.zip'],stdout=subprocess.PIPE).communicate()
for line in sout.split('\n'):
print line

et j'ai le résultat suivant :


Traceback (most recent call last):
File "sub.py", line 28, in ?
Traitement()
File "sub.py", line 13, in Traitement
(sout,serr) = subprocess.Popen(['zcat -c test.zip'],stdout=subprocess.PIPE).communicate()
File "c:\Python24\lib\subprocess.py", line 542, in __init__
errread, errwrite)
File "c:\Python24\lib\subprocess.py", line 706, in _execute_child
startupinfo)
WindowsError: [Errno 2] Le fichier spÚcifiÚ est introuvable

par contre quand je remplace le zcat par un ls sans paramètre ... no problemo

Une idée ..?

Merci par avance

[mchk0123]

Surement que la commande zcat n'est pas trouvée. Donc replacer :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
(sout,serr) = subprocess.Popen(['zcat test.zip'],stdout=subprocess.PIPE).communicate()
for line in sout.split('\n'):
print line

Par :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
(sout,serr) = subprocess.Popen(['zcat test.zip'],stdout=subprocess.PIPE,env={'PATH':'/usr/bin'}).communicate()
for line in sout.split('\n'):
print line

Ou '/usr/bin' est à remplacer par le chemin ou se trouve zcat.

[fanadonf]

Bonjour, merci pour ton aide,

Avec ce code j'ai l'erreur indiquée en pièce jointe
quand je remplace la commande zcat par un ls ça fonctionne... pour info l'exécution du script se fait sous cygwin.

print liste_files_eaccess[1]
(sout,serr) = subprocess.Popen(['zcat','test.zip'],stdout=subprocess.PIPE,env={'PATH':'/usr/bin'}).communicate()
for line in sout.split('\n'):

Si tu as une idée ?
Merci par avance

[mchk0123]

Déjà dit :

Ou '/usr/bin' est à remplacer par le chemin ou se trouve zcat.

Si tu est sur Windows (cygwin) au lieu d'Unix, tu devrais pouvoir trouver exactement où est installé le programme 'zcat.exe'.

[ctiti60]

Bonjour,

En lisant les posts, j'ai quelques petites interrogations. Il est dit que le module zipfile n'est pas le mieux parce que les fichiers sont trop gros. Mais, zcat ne fait-il pas la même chose ? Il décompresse puis renvoie le contenu dans le stdout. De plus, cygwin n'est pas réputé pour sa rapidité et je trouve qu'appeler des commandes système n'est jamais très souple et souvent source de problèmes. Maintenant, si c'est juste un besoin très ponctuel, je comprends.

Est-ce que tu fais la comparaison entre l'appel à zcat et l'utilisation de zipfile ?

[mchk0123]

Deux choses l'une :

- soit zcat décompresse exactement le même contenu que zipfile, mais dans ce cas, zcat permet au moins d'avoir un flux continu de listes de fichiers *pendant* la décompression (mais pour cela il faut créer un thread à part)
- soit zcat est assez intelligent pour parcourir le fichier zip sans le décompresser.

En effet les archives zips contiennent des entrées de "répertoires" qui sont en clair et mélangés aux blocs des données compressés. Et même si c'est assez lent de parcourir sur disque tout le fichier pour localiser ces entrées, au moins le % de CPU utilisé avoisine 0% dans ce cas.

Donc petit conseil :
- essayer zipfile, et si ce n'est pas assez efficace, alors
- essayer zcat, et si ce n'est pas assez efficace, il faudra envisager une autre solution