Discussion :

[thais781]

Bonjour

J'ai un fichier json, mais impossible de le lire, il semble codé.
Savez vous en python, comment décodé ce fichier pour le lire normalement avec un json.load(f) ?

Trop volumineux pour être mis en PJ, mais voici a quoi ca ressemble
Si qqun sait lire ce langage ;-)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
¡Oóu"õ*š=*Æ‹K•Ã.·K^\˜ŽÅóÊG¥˜X“¨ªÐ-¶·Ýòðgoãž2 
°s¯dV
—ÒË4üFG
Âg_j`Åš››.ã*ø¸W ©ÆïÙxã	Tª
~吝”뜄„¹3Ðr¾)ò¶œhšŽÿ¨_	‚ð•/dõ:¯Öûpî{¢c—ðíî6?³áµò*à.LDíÀ¸_رg·4FD}Ú¡h1YÇïµÐ’^Æûˆ‹Œ¡ÕlòÚ*×/1ÛlqaôåŸ7=ªû·œt§` B’uÅ¢Ýá¦é™{++k˜™¥öÄp—-ª´Ë‹(…šKñb]qònx_˧–â&$–qðaµŸX{\ò©±Q±ð	#ÇÛ§†§»‚·mu *9VìF^¤Wܽ;ðÔ1Õ›õhÏ19dŽ	Ë ¼ß÷îEîuüÑ*rP“ì
á¨"‰†o
«Á)3m>ÑõÅʼn’ùG>«Y0Äó´d(EÚ5Õ"å$™vÅ¢"£®âMþsvñŽx…ì4ªK"$Ž?`ÛþÌáž‹†‘ê$Pàj^®é™£ÓÒû¥Ð7©ÑÁJi‹AÑÏÍ‚ÒcÃ@ûßJnà©g»åyZžþIÒÊI$ÿR^ŽsÍJí¯|Q*N?§YôuJ_r~!6ÂÐ*Us÷ÖÑ/’í.˜\qŠ·ÿÁ!ÉûÔí”û&ˆFI‘ÁòÞˆƒ(‰Wøÿa Q_pd‰+ÈŸØù×Ï/~ãCrÊ_!:"Ì‘eè{¸Ñaó4ÅäR©ëZ¸±d±÷#)‘÷à(™¯As
ÀhDŠ?=R RÙEŠ'
IÏœ®y—_âRšU…g+Ö„ØÐvTö¤ÇkijXo–]M3!ÆŒÚ&#128;²yBäæ³5<á±k%~@ZëÆjfSÝíè-ß@¹/ÇÖp”——’$¬Ô:öÅæzqÀÞ¶÷üŒÆªh÷Bï¡ôRmå&#128;yª
÷ÊS¡’P7¬þÓ¹hñ·÷ñ6Áð2‚ø8ïÒo´ÿ„¾t†dØú>»%´èÖ•¸…‡
Ølå'^ÕìDئ5D‘—hæ¦}Ïõ®÷}¶˜Ö`šÔÚË/¸tÚÀ‘~^§t'7+•Ca]ƒ©¥‹ô[Q À=Å9F+ØE;*x*ÿ8ö*¤ïÇ|.|~%˜ÇËùÃÈëœbj<&#128;X¼ÿ¥æ$î¨Íã¹è
e{5*±òËé%þsõUÌÿ%<zãz¨WTïp±¯½†®õý‰’(FœiöA“Ç/¶üPÒç(YTzM|ÊÃP$¯Úüªþ¨#ÔÕ:MJa‡T›Žyê¹$ªú¢£ÆBS‚ÔHª¡å®9Ø
ñH&ƒê'Â笁²À²le•L££²ðyÄ_³°jèj?ŽÎB
ú*éÂ&ÈòɇXÚýæu¸ó&#128;¦]ԐԪÊ{È=w'kÝ¢PC
Èx#(èQ}ª5Ÿ’ÙጛE,Q±æ%ß$+g½tB>Û¤F.<f|z4ÓùŸAÆAæ³Ç‚49VƹÉ©eþêDuo½Ìë
–w².„Ž‡m‚!óÙ(AO[Ö©e&#128;唤†ê])2NëІ
®¼˜½5ÛøoÙ‹‡é0Ï
5:pgh¼þUÔ4ÙÕdq]RÁ<¼}“YªaÎþ–Õ[¦æ¹^ŒHͳGºcû«a¢ƒô	éšèEâŠëáA1U㎫ªlΓƒdßP’P&'h¸®‚æÙ)<žB|˜(º>íz™ŒNOʦ?
4'w0$Œ¥~åÙuˆe}¯ð{ë“ŒÏ÷^Ð4W,ùj‰?Ï@+Ø¸ jXÞìÎ>ÆUÕªëC¯{XHôĆ3*ñ(ƸؗÂd;~
@ª3Ø35í»ÕwÅ=ª]Ý4i†ìÛ.ú5_Ÿvú¹Òo·ÃX±Í ÙŠ¹H“UãBxÁÏÿv«r0[ÐU$!Wx¾ˆüŽµ?çÕå`Â&VÎmmÊ?0î=Ë*£!íñ½yÿÛ	mÿÃfá°gàšG£¶Ä«ñ'œŒÄSîóR†»°i‚+Ѫbi¯¬ý1é»üÇJbÓø:¤äë*c.ˆÙP)8B;›²UiÝf°ÝÙ,Aü½Ã3KÊįÙCùŽæC@ZFIU¥|ãzcÙ*Uû!ðÕe•™Òø´áV´ÑÂÿ™Xaw‹*©&#128;ŠÏÛqˆ’m³2Ó-ø"YxOd¸¶iºû>_F=ÃRP[…ÔÃdZò/ˆ´ÔcóãÒÖaÔp½eÛ¬E^âjøz´ßh`ÈÛÀÏh:éÕšúFÕ<Á&«6qîÛݏu`B“ú&/Z¯?
:ä&#128;H;ëé	.Z´8´Y2/!
Výñ®B
„’ZyÅRmþ¿é3KqÕßu*ê¹}”çé¼s‘þÇ0SöªδËòií=2ˆ	xè`¶$òáý‘þúN9guQ„Ù=’¨.S_7Šß²mÍòqÏ{‡
ù«¦Í>–—Wv(ØÇž"á«Á‚
Œ:ç¹Ð|¹ÜQû¾›š“•œ"z>ò‘Hf*±o5q(ìÂ\
-ó9¶]o#°ÞŽ<]‘Œì4л}#Ašn¸¬Ó÷0
Uï÷
)ÐÁÄøU?$‹‚ñ–Í\{ɱ&Lóˏm®çø*êiºžöíñêþ@˜þdŽoÿ¾d ;qw©Æ
”z7ÿEz_ß*Ÿ“ÑíÛïC]+×,i<W™—
lI•“aiˆ™mÝ"IéÌ›šjÖ0Ó'
E×J2ìN~~ìƒÚö_˜	áŸŠ<Äži|ÎdÌ»bó–s&s<ÉÌ?3
~	¬A2Iêiè]b~ÅXWúÐՏÝæ{©«ZŠ7þ†ÙOŽº»ÏGõ§ÿl^H…†Ò}'¨’ÝOç«wX:Òh“îL‘È›Ù„â>†)JÒ:ÌD&!ò1I8í#ùÍHK˜Í?ÚHíäA%êTý¶K·¾•áŒåÿ‚Û±Ó¢“îa4¶‰2¹î¡V„Ä%½¡ö'šð½>Æh+АôÚ"Ôç;ÝÐTÉ&8ÕÄøÀ¾ P2ÅôÙËØTW‚*4ûŽhpdÐÎô´+àÙð©µ
Ââu⎤*ô÷Ì}‘õžWŽiÂG”Fû`4hù3Ô0ü£HñÇRüÛðùf°èÍâß…©¢…ALÚ!CûN@óÓÑxåÃG÷²i)Ÿùr¡ÀQ‰9S–?êóâ‚rG rŠ…¾Ü{¥î;ÜI=W*£`΄ Á Õu’8´ÏDZ¥çSGh6
`§óRA}`á^¯&ô\õ|…~]&#128;x6]’à-*¢’‹¾Ú¿x
“1*¹øÛäÔÈêy0jÉÍ%ÎaqYpÒH"¾±¬¯ýPgEƒªºCÃÔ£ã)›&#128;²yL9*©Ck£ÿæÎäê»"ÆXvóèÉ]sòé½Ã…íÙ甐æñ°‹üÇ¡ª(e÷‚*F¸g´ª<÷ÝZq¨w¸ÍnüPÃoفzf¹ÆÔfxT2ƒý)~ÔEeºRKEí,dô@¾U`Ð ØÐ]kψà Xëd¯¼'~*DÿFÝ„TIU@ê‡üpªÝû|!¡9„´½G6…`ÅÙ@»¼’”%Âh»òU*t„R“*Þ»ÞiÄ/5Ã*šCF8´÷hnJH
8H)¹t׉4Ðç‘&#128;C6Ô85G3Êïp(™–À¿•¡=d̨¼É/ÉԍTœ‡Çº$¨&¬9™ÆÌ°¸5Ë…̸SÚÖÙ4õCp'<u˜:ã^[&#128;bÔ‘ízý:"˜á̯>Q±DSâR¼e™Táä&#128;ñß³¶M›Dã‰(Ðæøl }œxÌ%Žúp3{ò&¼3³7ÎD¯š´Ÿ^"UEê¤í&#128;Rwòx»¾	M
FÓã¹utgÆ‹/“ÛI( æÛ)À$y¿d?UTˆÿ‘Ãp|&êàwÏÁ혓K¨üÍx™ò›lé•Cj(À’ôKjÝh½Î7¾Þø@¡ea*Eéœó%öso_F/*>ðÝÐWèNùêf¿#/9®,¦Á´
ïxÅ9L2¡œ@"+QÒ&#128;	þŽih¤'‚)X×ã³Fú¥åë#]‚¶77{¦«Þ1Õ½ÏE¥ÄãŒ@™ôōR¨u=[g^)Þ‡›Íë°D¯ò„\ðLÙw¯p™rB‘ûDf_bó]mÐ34®n¯??Žm“UBZ‡{.Mç&#128;ë°jÑ+Ζ\hù·TrC†*“¬Q)}ôPáHÇ]4æ<Ö<ʲĥ®ñ—òÓÕ°”ŽÌÇ-t†Û™n5òQ—¦!N¦ª'Íàrî
ÀV
Ns!AB;¾Ì]ëeåMŠ¨$ál:AV8Õ‘¸÷•Sø;Ã5*÷Q6B䚏rÿÿ†iéóbtùÆÔÁi u—ù™Ês®ˆH°^Á»•Ë¹«S^#õ&Æ.ƒ•&#128;På°‰²¦˜@n?RÈÃÑÎêj–)JyMŽ'*h¤Š¿s)þU:L>YêÆé´Ë•@Þ*¢ª%N™œ='ï@ez(ðú{qˆ˜
œ§ñ.·‡™K½*ö;×Ü`˜e„P  µæë¸çÑV?—%$¸)Ÿ†öܳ‡ô>*[`®ì*Uô„ï5^sxöXª/ˆêØÚ±p*¥7W)ð®×GÑ*¹.z„É’k8qXT@™ï%|Ã/:ؼaˬ'F*(²ø[Ã}¹e½t
æ›[òI[ø¥û'e±;®jn,=ñ(º&ž†ß®)ïWvèàˆ!;麛ñó¹ÞJ¡•*H?6ëÎ*ĤêË‘J¢tžøð0%ÄÓjÔ¥ë͆4¶Øé"׆¸à0uÎOæÖ:WcÏZ3f-~E翆{;r&#128;ÂdšM«ê¾:þ,0Çùöt†i»mVˆ,êЯäÃÎ^ž/®ækB×ÇÌSö¶Õ¬øiúZ ýzÒÏîÀ…»º#ˆ{¤m^Õ@&6cjؾ{¿ç…!Ælæ<æ~R9iÆÖ]ûPH³¤P¸@¤ERæBx§Ò”àhçà—–A´_ŸrÁ[BªÄ7žºððhøÔ›[¯M&#128;ƒ
¯UE¡™W—öClÿ
hªi¢åÈ=d™[ñ	6“8TƒD
!‘¦K=
—6nݩɁ]:Rr[3¼|*ÿ—h~¤&.´Y9(w[©Y˜&#128;'K/¹çT;	Ñ·¦5÷mÒêS^¦B‰øƒ¼8öÌãH]È÷–)ë,á*¶u3xœ#*[©És‡ªv4gl˘y¢uesëŽ(ËÿghIG¼«„PrîEv‰¹,Ò*°B£Ú†*¬äµc‘¦éþ×jY÷åaÎfFKá-c½
&#128;ã¦'{ñ½‚Ð,÷gpÿہ+ÃDÞ˜#'ƒ[3µ0ÓøÏiãLoZOˆ–ÊñÎq5xÖJïÿNíä	ü¯i<C¸¡5ÝÚiTI;*&²Õ¹=–¦Xveø6Û+aég›Ò`ï'ð26:X!V«šç·I(v3J5À><ºv)ÈöÁMm}²5q–‚q |äàρbázEéÌ
x®Å¢
ŽàÒnD¹‚ln<ŸËßËJ¶Ó=°ë‡†¢¼V—HŽ¥4°´§µD&‰ú¨ÄþŸç}§ù}Hž¬çZñÁâ–±š¬&lƒ
ê*'J±ïçÏÔFîȶøÐßÏÀƒÒ’Ÿ+\?üžH¨ô0&BUƒ›w`Ɇ(ì;ÿ\Ù*ê^*t+Ã›>˜ý9Áù*aˆŒÿäfF1hW?`èª9m§:oÌÚb¹{{]GöÉâ˜L¶øÏyzŒÄB8ǶÖÆIJÌß»/c8þ,ìþ⋧Ï&T–*¢?8Ã±3«a,qw#|p-äçÄbgÈB¼È:y!ÎóµkRóºÛhŠˆ·¶ÝoÙÒtÎT)HÖš‰ÛÞƒª½QJŠà)5
LUxÄ
…x)xüâ"XÆ•¦Õt‡þÿ¹ž¯Àõ»_ŠÃÇ׊ïüSUÁ»Éíû&m£M6XøâêÑ~ZN[”ªnZh8
žÖ‘ûí›Ü…“ôsÈá&Fáu%`ÞÈÈ	u&áDBˆÇ̘:â]=ÂC}pR£àÛ\¦¶,Œ×)œ¢U†£YÓæxÎÎàÇÙ-˜?F´œ,Ãäóïâœæ{yY<E¢¡l9åÍwa£Ó??¡ÍÓA”eУxͲ³&#128;Åû9¹N]RŠ§
àžÓŸÂ¸ùºo;yÿÃÂsÛyXb¯ŠÊ@XˆôW…M‘
÷

[wiztricks]

J'ai un fichier json, mais impossible de le lire, il semble codé.
Savez vous en python, comment décodé ce fichier pour le lire normalement avec un json.load(f)
÷[/CODE]

Si on ne sait pas comment le fichier a été codé, on ne saura pas le décoder... sauf à essayer au pif et avoir de la chance.

- W

[Sve@r]

Bonjour

Savez vous en python, comment décoder ce fichier pour le lire normalement avec un json.load(f) ?

Sans connaitre la nature du codage utilisé??? Si c'était si simple on se demande comment feraient les services spéciaux pour s'échanger des messages secrets et à quoi serviraient les cellules de déchiffrement !!!
Déjà il se peut que ce ne soit pas un fichier chiffré mais juste un simple fichier binaire. Dans ce cas, des outils d'analyse comme "file" (sous Linux) peuvent t'indiquer les probabilités d'appartenance à telle nature. Mais s'il est vraiment chiffré ben c'est mort.

[jurassic pork]

Hello,
il se nomme comment ton fichier ?
comment sais-tu que c'est un fichier json ?
normalement un fichier json est toujours en format lisible ( JavaScript Object Notation (JSON) est un format de données textuelles)
Ami calmant, J.P

[papajoker]

bonjour

normalement un fichier json est toujours en format lisible ( JavaScript Object Notation (JSON) est un format de données textuelles)

Il est quand même courant (si de bonne taille et c'est le cas ici) qu'un fichier json soit compressé

[Sve@r]

Il est quand même courant (si de bonne taille et c'est le cas ici) qu'un fichier json soit compressé

Et dans ce cas, file te le dira

[Invité]

Je vois sur Google qu'il y a un module gzip pour les csv gzippé... Après j'y conné rien !

[Sve@r]

Je vois sur Google qu'il y a un module gzip pour les csv gzippé

Oui, il est inclus par défaut. Et il sait lire tout gzip (qu'il soit csv ou autre)

[papajoker]

Hors sujet puisque le contenu ne ressemble pas a du gz

Je vois sur Google qu'il y a un module gzip pour les csv gzippé... Après j'y conné rien !

gzip n'est pas que pour csv ! c'est pour compresser/décompresser tout fichier. Simplement, avec un fichier texte, nous avons une excellente compression.

petit exemple qui télécharge un json compressé depuis le web

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
from urllib import request
import gzip
import os
 
url = "https://aur.archlinux.org/packages-meta-v1.json.gz"
fichier = "test.json"
 
req = request.Request(url, method="HEAD")
with request.urlopen(req) as response:
    print("encodage:", response.headers["Content-Encoding"])
    print("taille", int(response.headers["Content-Length"])/1000//1000, "Mo à télécharger")
 
req.method = "GET"
print("Téléchargement ...")
with request.urlopen(req) as response:
    # a la place d'un classique response.read() on fait un (gzip)(response).read()
    with gzip.GzipFile(fileobj=response) as uncompressed, 
        open(fichier, "wb") as out_file:
        out_file.write(uncompressed.read())
 
size = os.path.getsize(fichier)
print(fichier, "décompressé sur disque:", size/1000//1000, "Mo")

résultat : on ne télécharge "que" 7 Mo pour un fichier json bien plus gros

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
encodage: gzip
taille 7.0 Mo à télécharger
Téléchargement ...
test.json décompressé sur disque: 38.0 Mo

[Invité]

Hors sujet puisque le contenu ne ressemble pas a du gz

🤷

[Sve@r]

le contenu ne ressemble pas a du gz

Comment tu as vu ça toi???

print(fichier, "décompressé sur disque:", size/1000//1000, "Go")résultat : on ne télécharge "que" 7 Go pour un fichier json bien plus grosencodage: gzip
taille 7.0 Go à télécharger
Téléchargement ...
test.json décompressé sur disque: 38.0 Go

Tu devrais te faire vendeur de disque toi !!! Tu vendrais du Go au prix du To !!! Parce que 1000*1000 c'est Mo, pas Go

Simplement, avec un fichier texte, nous avons une excellente compression.

Il y a la compression xz qui est encore plus performante.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
$ zcat packages-meta-v1.json.gz |xz -9 >packages-meta-v1.json.xz
$ ls -lh pac*z
-rw-r--r-- 1 moi moi 7,1M nov.  27 23:02 packages-meta-v1.json.gz
-rw-r--r-- 1 moi moi 5,0M nov.  27 23:02 packages-meta-v1.json.xz

[papajoker]

Merci, corrigé les Giga superflus

Avec zstandard, j'obtiens une valeur très proche de toi

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
zstd -k --ultra -22 test.json 
test.json            : 14.09%   (  36.7 MiB =>   5.17 MiB, test.json.zst)

L'intéret du gz, dans le web, c'est qu'un navigateur web peut le décompresser automatiquement.


Je suppose que ce n'est pas du gz en regardant le code du premier post (très loin d'un entete gz).
Et en copiant ce contenu dans un fichier, "file" ne reconnais pas (ok, les copier/coller ne sont pas exacts donc, pas concluant)

[jurassic pork]

Hello,

Hors sujet puisque le contenu ne ressemble pas a du gz

Comment tu as vu ça toi???

pour reconnaître un type de fichier, on regarde ce qu'il y a au début du fichier (entête = header). Cela correspond à une "signature" qui permet de déterminer le type de fichier. Pour un fichier texte il n'y a pas, bien sûr, de signature.
Exemple pour gzip c'est 1F 8B (en Hexa), un exe windows c'est MZ (4D 5A en hexa). Voir ici pour une liste des signatures des types de fichiers les plus courants.
Dans ce que nous montre thais781 on ne retrouve pas de signature qui soit dans la liste de wikipedia. Alors soit ce n'est pas vraiment le début du fichier que thais781 nous montre, soit il s'agit d'un fichier encrypté et là il n'y a plus obligatoirement de signature ou soit il s'agit d'un fichier sans signature connue ou du binaire brut.
Ami calmant, J.P

[thais781]

Bonjour,

Merci pour votre aide.
Donc ce fichier doit être crypté et effectivement aucune idée de comment et quelle clé de décryptage.
Mais il est bien lu par une application qui doit avoir la clé de décodage en interne ...

Donc c mort sauf si vous avez une idée de ou chercher cette clé ((

Merci quand même pour votre aide

Thais

[Sve@r]

Donc ce fichier doit être crypté et effectivement aucune idée de comment et quelle clé de décryptage.

Même pas obligé. Ca peut tout aussi bien être un binaire interne à une appli, laquelle sait le traiter.

Mais il est bien lu par une application qui doit avoir la clé de décodage en interne ...

Toujours pas obligé. S'il est réellement chiffré (au fait, le terme exact est "chiffré", pas "crypté") et que l'appli demande la clef de déchiffrement à l'utilisateur au lancement (exemple un fichier keepass ou veracrypt) cette clef n'est donc pas stockée dans le code mais dans le fichier lui-même.
Et si c'est chiffré via RSA ça reste quand-même tout aussi mort car c'est un chiffrement asymétrique. On chiffre avec A et on déchiffre avec B. Donc le fichier contiendra "A" mais tu dois lui entrer "B" pour que ça s'ouvre.
Accessoirement ce que tu demandes se nomme du piratage et c'est interdit par les règles.

[wiztricks]

Mais il est bien lu par une application qui doit avoir la clé de décodage en interne ...

Donc c mort sauf si vous avez une idée de ou chercher cette clé

Lire la documentation de l'application, interroger les développeurs, poser la question dans un forum utilisateur...
Il y a des préalables avant d'imaginer comment déchiffrer ça avec Python.

- W

[thais781]

Oups, désolé
Je pensais que c'était juste un soucis de formatage du fichier
mais bon, je ne vais pas me transformer en hacker donc poubelle ce fichier

Merci pour votre aide.

Thais