Discussion :

[rlelamer]

Bonjour,
Je rencontre un soucis qui me dépasse avec bzip2 dans mon script python ...
Actuellement je fais comme ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
 
            from shutil import copy
            from subprocess import call
 
            path_def = expanduser('~')
            path_grb = join(path_def, 'NoaaDownloader', 'grib')
            path_www = join('/data', 'apache', 'www', 'html', 'MY.PERSO.space', 'grib')
 
            fullgrb = join(path_grb, 'GFS1_' + cpo_tz(c_h)[0] + '_' + cpo_tz(c_h)[1] + '_full.grb')
 
            # Compress full.grb to full.grb.bz2
            call(['bzip2', fullgrb])
 
            # Copy full.grb.bz2 to www
            copy(fullgrb + '.bz2', path_www)

Ça ça fonctionne, j'ai voulu concaténer ces 2 commandes

Sur le terminal j'arrive à faire comme ceci

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
bzip2 -ck ~/NoaaDownloader/grib/GFS1_20200905_06_full.grb > /data/apache/www/html/MY.PERSO.space/grib/GFS1_20200905_06_full.grb.bz2

Aucun problème ça fonctionne parfaitement, j'ai donc voulu le mettre en place dans le script en utilisant subprocess.call

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
 
            from subprocess import call
 
            path_def = expanduser('~')
            path_grb = join(path_def, 'NoaaDownloader', 'grib')
            path_www = join('/data', 'apache', 'www', 'html', 'MY.PERSO.space', 'grib')
 
            fullgrb = join(path_grb, 'GFS1_' + cpo_tz(c_h)[0] + '_' + cpo_tz(c_h)[1] + '_full.grb')
            fullgrb_bz2 = join(path_www, 'GFS1_' + cpo_tz(c_h)[0] + '_' + cpo_tz(c_h)[1] + '_full.grb.bz2')
 
            # Compress fullgrb and put it in www
            call(['bzip2', '-ck', fullgrb, '>', fullgrb_bz2])

Et là il est pas content du tout ...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
bzip2: I won't write compressed data to a terminal.
bzip2: For help, type: `bzip2 --help'.
bzip2: Can't open input file >: No such file or directory.
bzip2: Can't open input file /data/apache/www/html/MY.PERSO.space/grib/GFS1_20200905_06_full.grb.bz2: No such file or directory.

Je comprends pas du tout pourquoi ça ne fonctionne pas via le script mais si je le fais dans le terminal là ça fonctionne, quelque chose m'échappe ...

Mon but final est de le faire sans passer par le terminal en utilisant le module python bz2, mais je trouve la doc pas "facile".

Un petit coup de pouce serait le bienvenu
Merci

[lg_53]

Si vous taper ca

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

bzip2 -ck ~/NoaaDownloader/grib/GFS1_20200905_06_full.grb > /data/apache/www/html/MY.PERSO.space/grib/GFS1_20200905_06_full.grb.bz2

dans un terminal système, alors :
1) Qu'est ce qui est affiché dans le terminal ?
2) Quel est le résultat produit
3) Que contient votre fichier "/data/apache/www/html/MY.PERSO.space/grib/GFS1_20200905_06_full.grb.bz2"

Pour moi vous avez un problème au niveau de votre commande déjà, l'indirection ne doit pas etre utilisée ici je pense. Faites un

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

man bzip2

pour vous renseignez de la syntaxe exacte

[wiztricks]

Salut,

Je comprends pas du tout pourquoi ça ne fonctionne pas via le script mais si je le fais dans le terminal là ça fonctionne, quelque chose m'échappe ...

Ce n'est pas si compliqué...
Soit vous passez à subprocess.call la chaine de caractères correspondante à la commande passée sous le shell (et dans ce cas là il faut préciser shell=True), soit vous lancez directement un programme avec sa liste d'arguments.

Et une redirection (le '>' ) étant une fonctionnalité du "shell" (et non un paramètre pris en compte par le programme lancée)....

note: vous pourriez lancer le programme, récupérer la sortie et l'écrire dans un fichier (côté Python) pour réaliser l'équivalent de cette redirection.


- W

[rlelamer]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

bzip2 -ck ~/NoaaDownloader/grib/GFS1_20200905_06_full.grb > /data/apache/www/html/MY.PERSO.space/grib/GFS1_20200905_06_full.grb.bz2

dans un terminal système, alors :
1) Qu'est ce qui est affiché dans le terminal ?
2) Quel est le résultat produit
3) Que contient votre fichier "/data/apache/www/html/MY.PERSO.space/grib/GFS1_20200905_06_full.grb.bz2"

1- rien ne s'affiche
Avec l'argument v en plus j'obtient ceci

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
    GFS1_20200905_06_full.grb:  2.565:1,  3.119 bits/byte, 61.01% saved, 36253424 in, 14134667 out.

2 - Le résultat attendu, un fichier compressé au format bzip2 GFS1_20200905_06_full.grb.bz23 - Le fichier est fonctionnel je peux l'ouvrir dans mon logiciel sans aucun soucis

[rlelamer]

@wiztricks
Ok merci
Je vais essayer ceci

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
call(['bzip2', '-ck', fullgrb, '>', fullgrb_bz2], shell=True)

Est il possible d'utiliser le module bz2 et de faire ce que je souhaite ? j'aimerais me passer de subprocess.call (qui me dépanne bien pour l'instant puisque mon script est fonctionnel) pour la création de l'archive au format bzip2 je suis loin d'être un expert en python, je débute ...

[wiztricks]

Salut,

Est il possible d'utiliser le module bz2 et de faire ce que je souhaite ? j'aimerais me passer de subprocess.call (qui me dépanne bien pour l'instant puisque mon script est fonctionnel) pour la création de l'archive au format bzip2 je suis loin d'être un expert en python, je débute ...

Si vous avez le temps et le courage de vous plonger dans la documentation du module pour faire la même chose qu'avec subprocess.call et bzip2...

- W

[rlelamer]

Si vous avez le temps et le courage de vous plonger dans la documentation du module pour faire la même chose qu'avec subprocess.call et bzip2...

Bon ça veut tout dire et c'est bien ce que je pensais ça doit pas être "simple", merci ça m'évite de me casser la tête pour rien 😉

[wiztricks]

Bon ça veut tout dire et c'est bien ce que je pensais ça doit pas être "simple", merci ça m'évite de me casser la tête pour rien 😉

Je n'ai aucune idée quand à savoir si ce sera simple ou pas pour vous.
C'est à vous d'ouvrir la documentation, trouver des exemples et évaluer si le temps que vous allez y passer ne serait pas mieux "dépensé" ailleurs.

En général, je préfère réaliser rapidement un "prototype" qui permet de répondre à des besoins rapidement... Optimiser le code, utiliser une bibliothèque que je ne connais pas mais qui... c'est du peaufinage à envisager plus tard.

- W

[rlelamer]

j'viens de tester avec l'ajout de shell=True

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

call(['bzip2', '-ck', fullgrb, '>', fullgrb_bz2], shell=True)

Ça ne fonctionne pas non plus

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
bzip2: I won't write compressed data to a terminal.
bzip2: For help, type: `bzip2 --help'.

Quand ça veut pas, ça veut pas ...

[wiztricks]

Salut,

Quand ça veut pas, ça veut pas ...

Essayez de rediriger la sortie d'une commande comme ls pour voir si le problème vient de votre utilisation la commande Python ou du contexte dans lequel vous voulez utiliser bzip2.

- W

[rlelamer]

Je n'ai aucune idée quand à savoir si ce sera simple ou pas pour vous.
C'est à vous d'ouvrir la documentation, trouver des exemples et évaluer si le temps que vous allez y passer ne serait pas mieux "dépensé" ailleurs.

J'ai pris pour habitude de regarder la doc et de chercher des exemples mais je n'ai pas trouvé réellement un exemple similaire a ce que je souhaite faire.

En général, je préfère réaliser rapidement un "prototype" qui permet de répondre à des besoins rapidement... Optimiser le code, utiliser une bibliothèque que je ne connais pas mais qui... c'est du peaufinage à envisager plus tard.

J'en suis là, je cherche a optimiser et peaufiner le script. il est fonctionnel donc je m'attèle à l'améliorer, juste une satisfaction personnelle de quelque chose de "bien" fait en utilisant les modules adéquats mais sur bz2 en l'occurrence je prends un mur. Je le trouve pas très évident ...

Si j'y arrive pas, j'utiliserais ceci:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
 
            from shutil import move
            from subprocess import call
 
            path_def = expanduser('~')
            path_grb = join(path_def, 'NoaaDownloader', 'grib')
            path_www = join('/data', 'apache', 'www', 'html', 'MY.PERSO.space', 'grib')
 
            fullgrb = join(path_grb, 'GFS1_' + cpo_tz(c_h)[0] + '_' + cpo_tz(c_h)[1] + '_full.grb')
 
            # Compress full.grb to full.grb.bz2
            call(['bzip2', '-k', fullgrb])
 
            # Move full.grb.bz2 to www
            move(fullgrb + '.bz2', path_www)

[wiztricks]

Salut,

J'ai pris pour habitude de regarder la doc et de chercher des exemples mais je n'ai pas trouvé réellement un exemple similaire a ce que je souhaite faire.

Pour des exemples d'utilisation du module bz2, il suffit de chercher un peu sur Internet. Vous allez certainement tomber sur ce qu'a réalisé Doug Hellman qui vous fait une lecture en compréhension des fonctionnalités du module.

A vous ensuite d'adapter suivant vos besoins.

Personnellement, le boulot qu'à fait Doug Hellman est celui qu'on doit (apprendre à) faire lorsqu'on veut découvrir les fonctionnalités de n'importe quelle bibliothèque: faire un peu le tour du domaine puis essayer de voir comment l'utiliser pour répondre à ses besoins "du jour".

- W

[rlelamer]

Merci pour le lien et effectivement je suis déjà "tombé" dessus lors de mes recherches.

J'ai vérifié que c'est pas moi qui me craquait avec la syntaxe de subprocess.call (on sait jamais je ne suis pas à l'abri d'une erreur)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
>>> import shlex
>>> command_line = input()
bzip2 -ck ~/NoaaDownloader/grib/GFS1_20200905_06_full.grb > /data/apache/www/html/MY.PERSO.space/grib/GFS1_20200905_06_full.grb.bz2
>>> args = shlex.split(command_line)
>>> print(args)
['bzip2', '-ck', '~/NoaaDownloader/grib/GFS1_20200905_06_full.grb', '>', '/data/apache/www/html/MY.PERSO.space/grib/GFS1_20200905_06_full.grb.bz2']
>>>

de ce coté là tout va bien donc l'erreur vient d'ailleurs, je vais suivre votre conseil