Créer une archive avec bzip2

Version imprimable

Bonjour,
Je rencontre un soucis qui me dépasse avec bzip2 dans mon script python ...
Actuellement je fais comme ceci :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
 
            from shutil import copy
            from subprocess import call
 
            path_def = expanduser('~')
            path_grb = join(path_def, 'NoaaDownloader', 'grib')
            path_www = join('/data', 'apache', 'www', 'html', 'MY.PERSO.space', 'grib')
 
            fullgrb = join(path_grb, 'GFS1_' + cpo_tz(c_h)[0] + '_' + cpo_tz(c_h)[1] + '_full.grb')
 
            # Compress full.grb to full.grb.bz2
            call(['bzip2', fullgrb])
 
            # Copy full.grb.bz2 to www
            copy(fullgrb + '.bz2', path_www)

Ça ça fonctionne, j'ai voulu concaténer ces 2 commandes

Sur le terminal j'arrive à faire comme ceci

Code:

1
2
 
bzip2 -ck ~/NoaaDownloader/grib/GFS1_20200905_06_full.grb > /data/apache/www/html/MY.PERSO.space/grib/GFS1_20200905_06_full.grb.bz2

Aucun problème ça fonctionne parfaitement, j'ai donc voulu le mettre en place dans le script en utilisant subprocess.call

Code:

1
2
3
4
5
6
7
8
9
10
11
12
 
            from subprocess import call
 
            path_def = expanduser('~')
            path_grb = join(path_def, 'NoaaDownloader', 'grib')
            path_www = join('/data', 'apache', 'www', 'html', 'MY.PERSO.space', 'grib')
 
            fullgrb = join(path_grb, 'GFS1_' + cpo_tz(c_h)[0] + '_' + cpo_tz(c_h)[1] + '_full.grb')
            fullgrb_bz2 = join(path_www, 'GFS1_' + cpo_tz(c_h)[0] + '_' + cpo_tz(c_h)[1] + '_full.grb.bz2')
 
            # Compress fullgrb and put it in www
            call(['bzip2', '-ck', fullgrb, '>', fullgrb_bz2])

Et là il est pas content du tout ...

Code:

1
2
3
4
5
 
bzip2: I won't write compressed data to a terminal.
bzip2: For help, type: `bzip2 --help'.
bzip2: Can't open input file >: No such file or directory.
bzip2: Can't open input file /data/apache/www/html/MY.PERSO.space/grib/GFS1_20200905_06_full.grb.bz2: No such file or directory.

Je comprends pas du tout pourquoi ça ne fonctionne pas via le script mais si je le fais dans le terminal là ça fonctionne, quelque chose m'échappe ...

Mon but final est de le faire sans passer par le terminal en utilisant le module python bz2, mais je trouve la doc pas "facile".

Un petit coup de pouce serait le bienvenu
Merci

06/09/2020, 11h22
lg_53

Si vous taper ca

Code:

bzip2 -ck ~/NoaaDownloader/grib/GFS1_20200905_06_full.grb > /data/apache/www/html/MY.PERSO.space/grib/GFS1_20200905_06_full.grb.bz2

dans un terminal système, alors :
1) Qu'est ce qui est affiché dans le terminal ?
2) Quel est le résultat produit
3) Que contient votre fichier "/data/apache/www/html/MY.PERSO.space/grib/GFS1_20200905_06_full.grb.bz2"

Pour moi vous avez un problème au niveau de votre commande déjà, l'indirection ne doit pas etre utilisée ici je pense. Faites un

Code:

man bzip2

pour vous renseignez de la syntaxe exacte
06/09/2020, 11h35
wiztricks

Salut,

Citation:

Envoyé par rlelamer

Je comprends pas du tout pourquoi ça ne fonctionne pas via le script mais si je le fais dans le terminal là ça fonctionne, quelque chose m'échappe ...

Ce n'est pas si compliqué...
Soit vous passez à subprocess.call la chaine de caractères correspondante à la commande passée sous le shell (et dans ce cas là il faut préciser shell=True), soit vous lancez directement un programme avec sa liste d'arguments.

Et une redirection (le '>' ) étant une fonctionnalité du "shell" (et non un paramètre pris en compte par le programme lancée)....

note: vous pourriez lancer le programme, récupérer la sortie et l'écrire dans un fichier (côté Python) pour réaliser l'équivalent de cette redirection.

- W
06/09/2020, 12h19
rlelamer
Citation:

Envoyé par lg_53

Code:

bzip2 -ck ~/NoaaDownloader/grib/GFS1_20200905_06_full.grb > /data/apache/www/html/MY.PERSO.space/grib/GFS1_20200905_06_full.grb.bz2

dans un terminal système, alors :
1) Qu'est ce qui est affiché dans le terminal ?
2) Quel est le résultat produit
3) Que contient votre fichier "/data/apache/www/html/MY.PERSO.space/grib/GFS1_20200905_06_full.grb.bz2"

1- rien ne s'affiche
Avec l'argument v en plus j'obtient ceci
Code:

1 2 GFS1_20200905_06_full.grb: 2.565:1, 3.119 bits/byte, 61.01% saved, 36253424 in, 14134667 out.
2 - Le résultat attendu, un fichier compressé au format bzip2 GFS1_20200905_06_full.grb.bz23 - Le fichier est fonctionnel je peux l'ouvrir dans mon logiciel sans aucun soucis
06/09/2020, 12h29
rlelamer
@wiztricks
Ok merci
Je vais essayer ceci
Code:

1 2 call(['bzip2', '-ck', fullgrb, '>', fullgrb_bz2], shell=True)
Est il possible d'utiliser le module bz2 et de faire ce que je souhaite ? j'aimerais me passer de subprocess.call (qui me dépanne bien pour l'instant puisque mon script est fonctionnel) pour la création de l'archive au format bzip2 je suis loin d'être un expert en python, je débute ...
06/09/2020, 12h39
wiztricks

Salut,

Citation:

Envoyé par rlelamer

Est il possible d'utiliser le module bz2 et de faire ce que je souhaite ? j'aimerais me passer de subprocess.call (qui me dépanne bien pour l'instant puisque mon script est fonctionnel) pour la création de l'archive au format bzip2 je suis loin d'être un expert en python, je débute ...

Si vous avez le temps et le courage de vous plonger dans la documentation du module pour faire la même chose qu'avec subprocess.call et bzip2...

- W
06/09/2020, 12h44
rlelamer

Citation:

Envoyé par wiztricks

Si vous avez le temps et le courage de vous plonger dans la documentation du module pour faire la même chose qu'avec subprocess.call et bzip2...

Bon ça veut tout dire et c'est bien ce que je pensais ça doit pas être "simple", merci ça m'évite de me casser la tête pour rien 😉
06/09/2020, 13h32
wiztricks

Citation:

Envoyé par rlelamer

Bon ça veut tout dire et c'est bien ce que je pensais ça doit pas être "simple", merci ça m'évite de me casser la tête pour rien 😉

Je n'ai aucune idée quand à savoir si ce sera simple ou pas pour vous.
C'est à vous d'ouvrir la documentation, trouver des exemples et évaluer si le temps que vous allez y passer ne serait pas mieux "dépensé" ailleurs.

En général, je préfère réaliser rapidement un "prototype" qui permet de répondre à des besoins rapidement... Optimiser le code, utiliser une bibliothèque que je ne connais pas mais qui... c'est du peaufinage à envisager plus tard.

- W
06/09/2020, 14h44
rlelamer
j'viens de tester avec l'ajout de shell=True

Code:

call(['bzip2', '-ck', fullgrb, '>', fullgrb_bz2], shell=True)

Ça ne fonctionne pas non plus
Code:

1 2 bzip2: I won't write compressed data to a terminal. bzip2: For help, type: `bzip2 --help'.
Quand ça veut pas, ça veut pas ...
06/09/2020, 17h24
wiztricks

Salut,

Citation:

Envoyé par rlelamer

Quand ça veut pas, ça veut pas ...

Essayez de rediriger la sortie d'une commande comme ls pour voir si le problème vient de votre utilisation la commande Python ou du contexte dans lequel vous voulez utiliser bzip2.

- W

Citation:

Envoyé par wiztricks

Je n'ai aucune idée quand à savoir si ce sera simple ou pas pour vous.
C'est à vous d'ouvrir la documentation, trouver des exemples et évaluer si le temps que vous allez y passer ne serait pas mieux "dépensé" ailleurs.

J'ai pris pour habitude de regarder la doc et de chercher des exemples mais je n'ai pas trouvé réellement un exemple similaire a ce que je souhaite faire.

Citation:

Envoyé par wiztricks

En général, je préfère réaliser rapidement un "prototype" qui permet de répondre à des besoins rapidement... Optimiser le code, utiliser une bibliothèque que je ne connais pas mais qui... c'est du peaufinage à envisager plus tard.

J'en suis là, je cherche a optimiser et peaufiner le script. il est fonctionnel donc je m'attèle à l'améliorer, juste une satisfaction personnelle de quelque chose de "bien" fait en utilisant les modules adéquats mais sur bz2 en l'occurrence je prends un mur. Je le trouve pas très évident ...

Si j'y arrive pas, j'utiliserais ceci:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 from shutil import move from subprocess import call path_def = expanduser('~') path_grb = join(path_def, 'NoaaDownloader', 'grib') path_www = join('/data', 'apache', 'www', 'html', 'MY.PERSO.space', 'grib') fullgrb = join(path_grb, 'GFS1_' + cpo_tz(c_h)[0] + '_' + cpo_tz(c_h)[1] + '_full.grb') # Compress full.grb to full.grb.bz2 call(['bzip2', '-k', fullgrb]) # Move full.grb.bz2 to www move(fullgrb + '.bz2', path_www)

06/09/2020, 18h33
wiztricks

Salut,

Citation:

Envoyé par rlelamer

J'ai pris pour habitude de regarder la doc et de chercher des exemples mais je n'ai pas trouvé réellement un exemple similaire a ce que je souhaite faire.

Pour des exemples d'utilisation du module bz2, il suffit de chercher un peu sur Internet. Vous allez certainement tomber sur ce qu'a réalisé Doug Hellman qui vous fait une lecture en compréhension des fonctionnalités du module.

A vous ensuite d'adapter suivant vos besoins.

Personnellement, le boulot qu'à fait Doug Hellman est celui qu'on doit (apprendre à) faire lorsqu'on veut découvrir les fonctionnalités de n'importe quelle bibliothèque: faire un peu le tour du domaine puis essayer de voir comment l'utiliser pour répondre à ses besoins "du jour".

- W

Merci pour le lien et effectivement je suis déjà "tombé" dessus lors de mes recherches.

J'ai vérifié que c'est pas moi qui me craquait avec la syntaxe de subprocess.call (on sait jamais je ne suis pas à l'abri d'une erreur)
Code:

1 2 3 4 5 6 7 8 >>> import shlex >>> command_line = input() bzip2 -ck ~/NoaaDownloader/grib/GFS1_20200905_06_full.grb > /data/apache/www/html/MY.PERSO.space/grib/GFS1_20200905_06_full.grb.bz2 >>> args = shlex.split(command_line) >>> print(args) ['bzip2', '-ck', '~/NoaaDownloader/grib/GFS1_20200905_06_full.grb', '>', '/data/apache/www/html/MY.PERSO.space/grib/GFS1_20200905_06_full.grb.bz2'] >>>
de ce coté là tout va bien donc l'erreur vient d'ailleurs, je vais suivre votre conseil