Discussion :

[flyingfr]

Bonjour,
je recupere un fichier binaire specifie avec un entete de 11 octets et un bloc de données compressées en gz.
Je souhaite recuperer les donnees.
j'ai fait

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
file = open('tuile', "rb")
num=(file.read())

Pour l'instant j'ai les donnees binaires du genre b'\x01\x01\x04\x00,\x01\x02\xda\xe1\x0....
comment continuer
Merci de votre aide

[fred1599]

Bonjour,

C'est quoi concrètement la suite des événements ? Vous avez votre chaîne, mais vous devez en faire quoi après ?

[Sve@r]

Bonjour

je recupere un fichier binaire specifie avec un entete de 11 octets et un bloc de données compressées en gz.
Je souhaite recuperer les donnees.
Pour l'instant j'ai les donnees binaires du genre b'\x01\x01\x04\x00,\x01\x02\xda\xe1\x0....
comment continuer

Ben... supprimer les 11 premiers octets de la chaine puis utiliser la librairie gzip pour dézipper le reste...

num=(file.read())

Tu aimes bien les parethèses inutiles toi hein? Oui, moi aussi quand je veux écrire v=truc j'écris v=(truc), je me sens plus rassuré ainsi (sait-on jamais...)

[papajoker]

bonjour

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

num=(file.read())

Avec le nom de la variable, j'ai un doute. Le but est de récupérer "num" les 11 premiers caractères ou bien les ignorer ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
num = f.read(11) # puis convertir en int ?
gz = f.read()

ou ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
f.seek(12)
gz = f.read()

[flyingfr]

En fait je veux lire les 11 premiers octets et lire la suite apres l avoir decompressée

[fred1599]

Sûr du sens des démarches à faire ?

Pour avoir les 11 premiers éléments, vous pouvez utiliser la méthode de @papajoker

[wiztricks]

En fait je veux lire les 11 premiers octets et lire la suite apres l avoir decompressée

Vous avez des utilitaires tout faits pour çà ou même la bibliothèque gzip de Python.
Après, si vous voulez écrire le code qui décompresse un fichier gzip, bon courage (mais vous pourriez commencer par plus simple histoire de vous familiariser avec la programmation, Python, les structures de données que vous allez devoir utiliser,...)

- W

[flyingfr]

en fait mon fichier c'est un fichier binaire de carto avec des 1 et des zeros entete 11 octets corps compressé en gz

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
url='https://static.virtualregatta.com/ressources/maps/dalles/vro2k16/1/0/4/1_-4_44.deg'
nom_fichier='tuile' 
urlretrieve(url, nom_fichier)  # recuperation des fichiers
print('tuile chargée!')
 
with open('tuile', 'rb') as file:
    num  =file.read()

je peux effectivement faire

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
    num1=num[0:11]
    num2=num[11:]

mais je n'arrive ni a lire num1 ni a decompresser et lire num2

[papajoker]

La seule chose que tu montres ici, c'est que tu n'as rien fait

je n'arrive ni a lire num1

Du chinois ! tu fais un print et tu as ou non un résultat, après pour l'interpréter pour tes besoins cela dépend uniquement du format de ton fichier, il y a peut-être une conversion à faire, pas trop difficile de tester et encore moins à coder.

ni a decompresser et lire num2

pas de code, donc impossible de donner un avis (peut-être la ligne 10 de ton 3ème test ?), bien sûr tu as testé la librairie ... @Sve@r t'a donné le lien, ensuite tu ne vas pas me faire croire que tu ne peux pas lire la doc pour écrire une petite ligne de code

[Sve@r]

en fait mon fichier c'est un fichier binaire de carto avec des 1 et des zeros entete 11 octets corps compressé en gz

Oui, tu l'as déjà dit. On a tous bien compris l'idée.

je peux effectivement faire

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
    num1=num[0:11]
    num2=num[11:]

C'est en effet une idée. Personnellement moi j'ai fait num1=file.read(11) et num2=file.read() déjà montrée par papajoker donc au lieu de dire "je peux" tu aurais dû dire "je dois"...

mais je n'arrive ni a lire num1 ni a decompresser et lire num2

Et t'es allé voir la librairie gzip dont j'ai déjà parlé? Ceci dit comme moi non plus je n'ai pas réussi (parce que justement ladite librairie me dit que num2 n'est pas compressé), je me dis que peut-être ton information "11 octets + reste compressé" est légèrement erronée...

[fred1599]

mais je n'arrive ni a lire num1

Pour avoir fait le test, moi j'y arrive bien, suffit de faire un print(num1)

[papajoker]

Effectivement ne semble pas être du gz, pas trouvé l'entête dans le fichier, et pas bon si je rajoute l'entête b'\x1f\x8b\x08' à num2

[rg71800]

bonjour tout le monde

flyingfr je crois qu'on travaille sur le même sujet

si cela peu aider voici le descriptif de fichier

Format des fichiers

Les fichiers sont en format binaire. Ils sont constitués d’un entête de 11 octets, suivi d’un
bloc de données compressées en gz.

Le header contient :
● octet 1: version du fichier (1 de mémoire)
● octets 2 et 3: latitude de la tuile, le premier octet indique le signe, 1 pour négatif, 0
pour positif, le second contient la valeur absolue de la latitude
● octets 4 et 5: longitude de la tuile, le premier octet indique le signe, 1 pour négatif, 0
pour positif, le second contient la valeur absolue de la longitude
● octet 6: je ne sais pas ce que représente cet octet, d’expérience il a la valeur 1
● octet 7 et 8: largeur (et hauteur) de la tuile en nombre de valeurs, ce champ vaut
toujours 730, il y a 730x730 soit 532900 valeurs dans les données
● octets 9 à 11: date de génération du fichier, peu utile
o année = 2040 - octet9
o mois = octet10 + 1 (pour janvier = 1)
o jour = octet 11

Suite à cet en-tête, se trouve le buffer des valeurs, il faut utiliser une librairie de
décompression gzip pour les décompresser. En php, nous utilisons la fonction gzinflate, en
nodejs, zlib.inflateRaw ou zlib.inflateRawSync.
Les hauteurs de terrain (ou profondeur d’eau) sont encodées sur 1 octet signé. Les valeurs
strictement négatives sont de l’eau, les valeurs positives ou nulles sont de la terre.

j'avoue que je coince aussi dessus
j'ai testé ceci mais sans succès

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
import urllib.request
import gzip
 
url = 'https://static.virtualregatta.com/ressources/maps/dalles/vro2k16/1/0/4/1_-4_44.deg'
fileName = 'tile.gz'
urllib.request.urlretrieve(url, fileName)
 
with open('tile.gz', 'rb') as file:
    byt = file.read()
    print(byt)
    byt1 = byt[12:]
    print(byt1)
    with open('tileout.gz', 'wb') as fout:
        fout.write(byt1)
    fout.close()
file.close()
 
 
with gzip.open("tileout.gz", 'rb') as f:
    file = f.read()
    print(file)

[flyingfr]

J'en suis effectivement a peu pres au meme point.

Je n'arrive pas non plus a decoder l 'entete qui doit etre ça : b'\x01\x01\x04\x00,\x01\x02\xda\xe1\x03\x1a\xec'

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
from urllib.request import urlretrieve
import zlib
import gzip
import struct
 
 
url='https://static.virtualregatta.com/ressources/maps/dalles/vro2k16/1/0/4/1_-4_44.deg'
nom_fichier='tuile' 
 
with open('tuile', "rb") as fp:
    carto=fp.read()
    header=carto[:11]
    corps=carto[11:]
 
 
 
print('header : ',header) 
print('header :',header.decode('ascii'))
 
with open('tileout.gz', 'wb') as fout:
    fout.write(corps)
    fout.close()  
 
with gzip.open("tileout.gz", 'rb') as f:
    file = f.read()
    print(file)

[fred1599]

Je n'arrive pas non plus a decoder l 'entete qui doit etre ça : b'\x01\x01\x04\x00,\x01\x02\xda\xe1\x03\x1a\xec'

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
>>> s = b'\x01\x01\x04\x00,\x01\x02\xda\xe1\x03\x1a\xec'
>>> decimals = [i for i in s]
>>> decimals
[1, 1, 4, 0, 44, 1, 2, 218, 225, 3, 26, 236]

C'est ça que tu veux ?

[flyingfr]

Merci,
pour le decodage de cette partie
c'est parfait !

[papajoker]

octets 4 et 5: longitude de la tuile, le premier octet indique le signe, 1 pour négatif, 0
pour positif, le second contient la valeur absolue de la longitude

octet 7 et 8: largeur (et hauteur) de la tuile en nombre de valeurs, ce champ vaut
toujours 730, il y a 730x730 soit 532900 valeurs dans les données

cela n'a pas de sens !
un octet c'est de 0 à 254, comment faire tenir une longitude ??? ce ne sont pas plutot des entiers comme unité (8 ou 16 ???)

"année = 2040 - octet9" , cette tuille à été faite en 2040-225, 1815 ou alors c'est une très vielle carte ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
entetes ={
        'v':1,
        'lat':2,
        'long':2,
        'none':1,
        'size':2,
        'an':1,
        'mois':1,
        'jour':1,
    }
 
    for k in entetes:
        x = file.read(entetes[k])
        entetes[k] = int.from_bytes(x, byteorder='big', signed=True) # signed ?
    print(entetes)
 
{'v': 1, 'lat': 260, 'long': 44, 'none': 1, 'size': 730, 'an': 225, 'mois': 3, 'jour': 26}
 
# ou:
x = b'\x01\x01\x04\x00,\x01\x02\xda\xe1\x03\x1a\xec'
print('an:', x[8])
print('lat', x[1:3], int.from_bytes(x[1:3], byteorder='big', signed=True))

ok, avec ce premier test, la taille est de 730

[wiztricks]

Merci,
pour le decodage de cette partie
c'est parfait !

b'\x01\x01\x04\x00,\x01\x02\xda\xe1\x03\x1a\xec' ou [1, 1, 4, 0, 44, 1, 2, 218, 225, 3, 26, 236] sont les mêmes suites d'octets, c'est juste l'affichage qui change: rien n'a été décodé, c'est juste une représentation différente.

- W

[flyingfr]

Papajoker,
Pour les latitudes et longitudes c'est normal que ce soit des entiers, ce sont les references de tuiles de cartographie au pas de 1° le maximum est 180 en longitude 90 en latitude.
sur ce fichier en particulier ca doit etre la longitude -4 latitude 44

[flyingfr]

Bonjour,
en fait la solution etait :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
 
 
import numpy as np
import zlib
 
with open(filename,'rb') as fid:
    header=fid.read(11)
    gzbuf=fid.read()
    databuf=zlib.decompress(gzbuf,-zlib.MAX_WBITS)
    databuf=zlib.decompress(gzbuf,0-zlib.MAX_WBITS)
 
data=np.frombuffer(databuf,dtype=np.int8)
data.resize((730,730))

Merci a ceux qui ont participé,
Je marque en résolu.