Discussion :

[pascaloupsu]

Bonjour à tous,

Je desire obtenir un format str a partir d'un format byte.
J'ai un programme qui fonctionne en Python 2 mais pas en Python 3.
En Python 2:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
def binaryMethod(files, lenI):
outList = [] 
for _ in range(lenI):
            # read the length of the next string (read only the first 4 bytes) 
            blen = int(ceil(float(unpack('>I', files.read(4))[0]) / 4) * 4)
            # store the  string into outList
            outList.append(str(unpack('%ds' % blen, files.read(blen))[0]).replace("\x00", ""))
print (outList)

RT
RT
ts
MI
VI
MO
VO
EM
EE
Mt

ce qui est exactement ce que je veux
lenI est un entier, files est un fichier en format binaire.
En Python 3:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
def binaryMethod(files, lenI):
outList = [] 
for _ in range(lenI):
            # read the length of the next string (read only the first 4 bytes) 
            blen = int(ceil(float(unpack('>I', files.read(4))[0]) / 4) * 4)
            # store the  string into outList
            outList.append(str(unpack('%ds' % blen, files.read(blen))[0]).replace("\x00", ""))
print (outList)

b'RT\x00\x00'
b'RT\x00\x00'
b'ts\x00\x00'
b'MI\x00\x00'
b'VI\x00\x00'
b'MO\x00\x00'
b'VO\x00\x00'
b'EM\x00\x00'
b'EE\x00\x00'
b'Mt\x00\x00'

j'ai essayé la chose suivante:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

test = outList[0].decode('utf8')

AttributeError: 'str' object has no attribute 'decode'

Auriez-vous une idée?

Merci d'avance

[jmbain]

Hello,
Sauf erreur de ma part, car il se fait tard :
En python3, la gestion de l'unicode change, il est géré de façon native. Plus besoin de déclarer un encodage dans le source, et plus besoin de s'enquiquiner avec des conversions de charset.
Par contre, il y a un tas de petites choses qui changent.
Notamment, quand un fichier est ouvert en texte, on récupère des chaînes. Quand il est ouvert en binaire, on récupère des bytes.
Également, les chaînes n'ont plus de méthode decode. C'est inutile, tout est en unicode, et toutes les chaînes sont compatibles entre elles. Par contre, les bytes n'ont pas de notion de charset, puisqu'ils contiennent du binaire et pas une chaîne (au final, c'est toujours, des données identiques, mais pas gérées de la même façon). Et donc, les bytes ont une méthode decode qui permet de les convertir en chaîne.
Concrètement, ton programme plante sans doute parce que outList[0] est déjà une chaîne. Par ailleurs, si tu veux du texte quand tu lis ton fichier, il suffit de l'ouvrir en texte, et pis c'est tout.
Au départ, c'est déconcertant, mais une fois qu'on est habitué, c'est top moumoute...
Pas sûr d'avoir été bien clair...
PS : sur ce coup-là, python3 n'est pas compatible avec p2. Et toc.

[pascaloupsu]

Merci de la réponse.
Disons que je ne cherche pas spécialement à lire tout le texte.
J'ai isolé un bloc du fichier binaire. Voici par exemple les 10 premieres lignes du bloc

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
for i,line in enumerate(f):
          if i< 10:
            print (line)

b'TrDhDM1s10\x00\x00\x00\x00\x00\x06kv1s10\x00\x00\x00\x00\x00\x06kl1s10\x00\x00\x00\x00\x00\x06
b'TrDhDM1s11\x00\x00\x00\x00\x00\x06kv1s11\x00\x00\x00\x00\x00\x06kl1s11\x00\x00\x00\x00\x00\x06
b'TrDhDM1s12\x00\x00\x00\x00\x00\x06kv1s12\x00\x00\x00\x00\x00\x06kl1s12\x00\x00\x00\x00\x00\x06
b'TrDhDM1s13\x00\x00\x00\x00\x00\x06kv1s13\x00\x00\x00\x00\x00\x06kl1s13\x00\x00\x00\x00\x00\x06
b'TrDhDM1s14\x00\x00\x00\x00\x00\x06kv1s14\x00\x00\x00\x00\x00\x06kl1s14\x00\x00\x00\x00\x00\x06
b'TrDhDM1s15\x00\x00\x00\x00\x00\x06kv1s15\x00\x00\x00\x00\x00\x06kl1s15\x00\x00\x00\x00\x00\x06
b'TrDhDM1s16\x00\x00\x00\x00\x00\x06kv1s16\x00\x00\x00\x00\x00\x06kl1s16\x00\x00\x00\x00\x00\x06
b'TrDhDM1s17\x00\x00\x00\x00\x00\x06kv1s17\x00\x00\x00\x00\x00\x06kl1s17\x00\x00\x00\x00\x00\x06
b'TrDhDM1s18\x00\x00\x00\x00\x00\x06kv1s18\x00\x00\x00\x00\x00\x06kl1s18\x00\x00\x00\x00\x00\x06

J'aimerai mettre les éléments en gras dans une liste.


Je crois que ta réponse m'a menée sur la bonne voie: je pense que peux chercher par caractère en faisant:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
for i,line in enumerate(f):
          if i< 10:
            if re.search(rb'TrDhDM1s11',line):
              print (True)

True

C'est pas du top niveau (Pythonic, comme on dit dans le milieu ), mais je crois que je vais créer une regex qui ignore les \x00 pour filtrer mes noms de variables (TrDhDM1s11 etc...)

merci pour ton aide, je posterai une solution permanente quand celà fonctionne.

[marco056]

Un simple replace à la place des regex, ce sera plus facile.

[wiztricks]

Salut,

C'est ici que çà se passe:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

    outList.append(str(unpack('%ds' % blen, files.read(blen))[0]).replace("\x00", ""))

car avec Python3 transformer des bytes en str sans préciser l'encoding produit:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
>>> b = b'1234'
>>> str(b)
"b'1234'"

alors qu'en le précisant:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
>>> str(b, 'ascii')
'1234'
>>>

- W

[jmbain]

C'est pas du top niveau (Pythonic, comme on dit dans le milieu ), mais je crois que je vais créer une regex qui ignore les \x00 pour filtrer mes noms de variables (TrDhDM1s11 etc...)

Hello,

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

[x.split(b'\x00')[0] for x in line.split(b'\x06')]

est assez pythonesque, mais peut-être pas encore tout-à-fait ce que tu cherches...