Discussion :

[fanadonf]

Bonjour,

Débutant en python j'aimerai avoir des conseils sur la meilleur implémentation à utiliser pour la lecture du contenu d'une archive .zip (un fichier de log en fait) sans pour autant "dezipper" celui-ci comme le ferai un zcat en script.(pour info les fichiers font plusieurs centaines de mégas)

Autre question, existe t'il des fonctions de bases pour la gestion des dates, l'idée ici c'est de récupérer dans un répertoire les noms de fichiers "zippes" correspondant à une saisie clavier par exemple une date de début de recherche et une durée de recherche type 3 jours à partir de la date /une semaine / deux semaine / un mois etc /etc..
sachant qu'il y a un fichier par jours..

Merci par avance pour vos conseils

Cordialement,
François

[KINENVEU]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

import zipfile

[mchk0123]

Salut,

pour des fichiers décompréssés > 100 Mo, l'idéal serait d'éviter de tout décompresser en mémoire (même la mémoire peut avoir ses limites). Le mieux serait (tout dépend de ce que tu veux faire avec ces fichiers) de ne scanner le zip que pour extraire la table de structure des fichiers/répertoires.
Cependant, je ne sais pas si c'est faisable directement avec zipfile.

Pour les dates, c'est plus simple, le module 'date' permet de faire beaucoup de chose.

Enfin, si tu dois décompresser tes logs dans des zips juste pour extraire des noms & dates de fichiers, le mieux serait de créer, en même temps que tes logs, une BdD d'index contenant ces informations là.

[fanadonf]

Bonjour,

En faite l'idée c'est de récupérer des informations contenues dans ces logs qui sont compressées en .zip (tailles 100 Mo en moyenne compressées)
le module zipfile semble ne pas correspondre (fichiers trop gros).. pour le moment je "dezip" l'archive mais cela est très très long, je désirerai trouver un équivalent à la commande zcat pour récuperer le fichier ligne par ligne analyser sans devoir le decompresser, pour le moment je test avec un os.popen mais ça fonctionne pas....
Si vous avez une idée et surtout une bonne méthode... merci par avance

François

[mchk0123]

Bonjour,

Est-ce que tu as essayé la méthode infolist() de ZipFile ?

Quelque chose comme :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
import zipfile
 
z = zipfile.ZipFile('log.zip', 'r')
l = z.infolist()
for i in l:
    print i.filename

[fanadonf]

Bonjour,

Oui j'ai essayé cette méthode mais sans résultat, je cherche un truc du style :

zcat=os.popen ("zcat "+fichier+"|grep "+user_id,"r")

L'idée c'est de récupérer le résultat de la commande unix faute de mieux mais ça marche pas...