Décoder un fichier ligne par ligne base64

**Neolex** · 14/12/2016, 16h47

Bonjour à tous

Voilà j'ai un petit probleme, voici mon fichier :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
neolex@neolex-pc> Analyse de log$cat data
192.168.1.23 - - [18/Jun/2015:12:12:54 +0200] "GET /admin/?action=membres&order=QVNDLChzZWxlY3QgKGNhc2UgZmllbGQoY29uY2F0KHN1YnN0cmluZyhiaW4oYXNjaWkoc3Vic3RyaW5nKHBhc3N3b3JkLDEsMSkpKSwxLDEpLHN1YnN0cmluZyhiaW4oYXNjaWkoc3Vic3RyaW5nKHBhc3N3b3JkLDEsMSkpKSwyLDEpKSxjb25jYXQoY2hhcig0OCksY2hhcig0OCkpLGNvbmNhdChjaGFyKDQ4KSxjaGFyKDQ5KSksY29uY2F0KGNoYXIoNDkpLGNoYXIoNDgpKSxjb25jYXQoY2hhcig0OSksY2hhcig0OSkpKXdoZW4gMSB0aGVuIFRSVUUgd2hlbiAyIHRoZW4gc2xlZXAoMikgd2hlbiAzIHRoZW4gc2xlZXAoNCkgd2hlbiA0IHRoZW4gc2xlZXAoNikgZW5kKSBmcm9tIG1lbWJyZXMgd2hlcmUgaWQ9MSk%3D HTTP/1.1" 200 1005 "-" "-"
192.168.1.23 - - [18/Jun/2015:12:13:00 +0200] "GET /admin/?action=membres&order=QVNDLChzZWxlY3QgKGNhc2UgZmllbGQoY29uY2F0KHN1YnN0cmluZyhiaW4oYXNjaWkoc3Vic3RyaW5nKHBhc3N3b3JkLDEsMSkpKSwzLDEpLHN1YnN0cmluZyhiaW4oYXNjaWkoc3Vic3RyaW5nKHBhc3N3b3JkLDEsMSkpKSw0LDEpKSxjb25jYXQoY2hhcig0OCksY2hhcig0OCkpLGNvbmNhdChjaGFyKDQ4KSxjaGFyKDQ5KSksY29uY2F0KGNoYXIoNDkpLGNoYXIoNDgpKSxjb25jYXQoY2hhcig0OSksY2hhcig0OSkpKXdoZW4gMSB0aGVuIFRSVUUgd2hlbiAyIHRoZW4gc2xlZXAoMikgd2hlbiAzIHRoZW4gc2xlZXAoNCkgd2hlbiA0IHRoZW4gc2xlZXAoNikgZW5kKSBmcm9tIG1lbWJyZXMgd2hlcmUgaWQ9MSk%3D HTTP/1.1" 200 1005 "-" "-"
[....]

Je voudrais decoder les ligne une par une mais je n'ai aucun idée de comment faire .
Pour l'instant j'ai fais ceci pour recuperer la partie a dechiffrer mais je ne sais pas comment le faire ensuite ligne par ligne :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

cut -d= -f3 data|cut -d' ' -f1 | base64 -d

mais cette commande ne decode que la premiere ligne.

ps : Comment auriez vous recuperer les données avec sed par exemple ?

merci

**zipe31** · 14/12/2016, 17h37

Salut,

while read line; do base64 -d <<<"${line}";done < <(grep -Po '.*=\K[^ ]*' data)

**disedorgue** · 14/12/2016, 17h37

Bonjour,

Ton souci est plus dû à un mauvais décodage, en http, les caractères tel que '=' sont traduit en '%3D' par exemple.
Tu dois donc d’abord filtrer ces code et les remettre au format normal.

Si on prend ton exemple, à la fin de ta chaine, tu as %3D, qu'il faut remettre au format normal (donc '=' ) avant de soumettre à base64, ce qui donne avec sed:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -e 's/\(^.*=\| .*\)//g;s/%3D/=/' data | base64 -d

**Neolex** · 14/12/2016, 18h40

Merci pour vos réponse.

Par contre , Disedorgue , je ne comprends pas la première partie de ton sed ...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

s/\(^.*=\| .*\)//g

Il supprime quelque chose mais j'arrive pas à comprendre quoi exactement...

merci !

**disedorgue** · 14/12/2016, 19h40

Il est vrai que je l'ai écrit un peu vite:
$...$: Capture d'argument, en cas de besoin de référence arrière (en fait, ici, c'est inutile).
^.*=: recherche depuis le début de la ligne (^) jusqu'au dernier signe '='
\|: ou
[C] .*[C/]: du premier espace jusqu'a la fin de la ligne.
et on remplace par rien (//) si on trouve l'un ou l'autre, et on réitère (/g) tant que l'on a pas parsé toute la ligne.

Comme la capture d'arguments ici est inutile, on peut donc simplifier:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed 's/^.*=\| .*//g'

Mais attention, ici, la regex est vraiment limite et peut potentiellement avoir des effet de bord si toutes tes lignes ne respectent pas les règles suivantes:
-Le début de la partie interessante doit toujours être juste après le dernier signe '='.
-Il ne doit pas y avoir de signe '=' dans ou après la partie interessante (la première règle, le dit implicitement).
-la partie interessante ne doit pas contenir d'espace et doit soit être suivi d'un espace soit finir la ligne.

**BufferBob** · 15/12/2016, 08h40

salut,

Envoyé par Neolex

Voilà j'ai un petit probleme, voici mon fichier (...)

c'est une épreuve d'un challenge en ligne ça, c'est censé se faire tout seul

et en connaissant la suite, je pense que tu serais bien inspiré de changer de langage

**Neolex** · 15/12/2016, 09h03

Oui c'est vrai je n'y ai pas pensé ...
J'avais déjà traduit les url a la main mais je voulais une solution en script mais je n'y arrivais pas.

**jack-ft** · 15/12/2016, 11h12

Envoyé par disedorgue

Si on prend ton exemple, à la fin de ta chaine, tu as %3D, qu'il faut remettre au format normal (donc '=' ) avant de soumettre à base64, ce qui donne avec sed:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -e 's/\(^.*=\| .*\)//g;s/%3D/=/' data | base64 -d

Du coup, une solution peut-être plus facile à lire (et plus portable):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
sed -e 's/^.*order=//' -e 's/%3D.*/=/' data | base64 -d
# ou
sed -e 's/^.*order=//;s/%3D.*/=/' data | base64 -d

On remplace tout du début de ligne jusques et y compris à order= par rien.
Et on remplace tout de %3D compris à la fin de ligne par =...
sous réserve qu'il n'y ait qu'un seul %3D dans la ligne...

Remarque: comme je suis sous macOS et que, en conséquence, je n'ai droit qu'à un "sed" bas de gamme (entendez non-gnu), sans possibilité de | dans une substitution, la solution proposée par disedorgue ne fonctionne pas, alors que la mienne marche un peu mieux... à condition de mettre base64 -D...

D'ailleurs, la fonction "usage" de "base64" est quelque peu beuguée sous macOS (contrairement au man):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
$ base64 -d
base64: invalid option -- d
Usage:	base64 [-dhvD] [-b num] [-i in_file] [-o out_file]
  -h, --help     display this message
  -D, --decode   decodes input
  -b, --break    break encoded string into num character lines
  -i, --input    input file (default: "-" for stdin)
  -o, --output   output file (default: "-" for stdout)

$ base64 -v
base64: invalid option -- v
Usage:	base64 [-dhvD] [-b num] [-i in_file] [-o out_file]
  -h, --help     display this message
  -D, --decode   decodes input
  -b, --break    break encoded string into num character lines
  -i, --input    input file (default: "-" for stdin)
  -o, --output   output file (default: "-" for stdout)