Décoder des données base64 d'un ensemble de fichier

Version imprimable

bonjour,

je dois décodé des données d'un fichier

j'ai des lignes codés en base 64

j'ai écrit le code suivant:
Code:

1 2 3 4 5 6 7 8 9 10 11 #!/bin/sh for f in `ls *.csv`;do cat $f | while read ligne do if test "${#ligne}" -gt 40 -o test $ligne="expressionregulier" then echo `echo $ligne|openssl enc -base64 -d` else echo $ligne fi done done>res.txt
le problème c'est que ça prend beaucoup de temps est ce qu'il existe une autre manière? est ce qu'on peut utiliser des commandes dans sed ou awk?
je voudrais savoir également comment utiliser une expression reguliere dans un test cf (code en rouge).??
merci d'avance.

16/07/2013, 16h10
noooop

je ne vois pas comment tu pourrais améliorer cet algo. Pas d'optimisation possisble pour moi. A par supprimer l'option "debug" de openssl.

Pour les expressions régulière faudrait nous expliquer ce que tu veux faire.
16/07/2013, 16h24
huître
ok ça marche

sinon pour les expressions reguliere

voila le test que je veux faire
Code:

1 2 if test $ligne = "^*=$"
à savoir chercher les lignes qui se termine par le signe '='

ON N'UTILISE PAS ls DANS UN SCRIPT
+ UUOC
et toujours mettre les variables entre guillemets
!
Code:

1 2 3 4 5 6 7 8 9 10 11 12 #!/bin/sh for f in *.csv do while read ligne do if test "${#ligne}" -gt 40 -o echo "$ligne" | grep -q "=$" then echo "$ligne" | openssl enc -base64 -d else echo "$ligne" fi done <"$f" done >res.txt
bash permettrait de se passer de grep, avec [[.

EDIT: if echo "$ligne" | grep -q '.\{40,\}\|=$'

17/07/2013, 11h24
huître

salut

Code:

if test "${#ligne}" -gt 40 -o echo "$ligne" | grep -q "=$"

dsl cette ligne de commande ne fonctionne pas

Bonjour,

Pourquoi ne pas utiliser la commande base64 ?

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
$ base64 --help
Usage: base64 [OPTION]... [FILE]
Base64 encode or decode FILE, or standard input, to standard output.
 
  -d, --decode          decode data
  -i, --ignore-garbage  when decoding, ignore non-alphabet characters
  -w, --wrap=COLS       wrap encoded lines after COLS character (default 76).
                          Use 0 to disable line wrapping
 
      --help     display this help and exit
      --version  output version information and exit
 
With no FILE, or when FILE is -, read standard input.
...

17/07/2013, 13h01
huître

je n'ai pas acces à cette commande

pour cet exemple

GROUPE1 ; uid=JJKSUHD
GROUPE2 ; uid=JDHYDE
U0lHEGDGHEFDQVJUQUfDiVKDHCGDU9O ; uid=XDSEF //à décoder
U0lSSF9QRlJDUGHCGYDQVJUQUfDiVNfRk9STUFUSU9O ; uid=XFDEEF à décoder

je dois décoder les code base64
U0lSSF9QRlJDUGHCGYDQVJUQUfDiVNfRk9STUFUSU9O
U0lHEGDGHEFDQVJUQUfDiVKDHCGDU9O

et conserver la structure du fichier

j'ai utilisé le code suivant je ne
Code:

1 2 3 4 5 6 7 8 cat res6.txt | while read ligne do if echo "$ligne" | egrep -q "^\ [A-Z]*" then echo `echo $ligne|cut -d; -f1|openssl enc -base64 -d`_"$ligne" else echo $ligne fi done > res7.txt
et ensuite je retravaille les ligne obtenu avec un cut

mais le code ne fonctionne pas

17/07/2013, 19h17
N_BaH

forcément que ça marche pas : les lignes «à décoder» ne se terminent pas par = !
18/07/2013, 09h46
huître

non ça marche aussi sans le égale

Tes chaînes base64 ne semblent pas conformes. Essaye avec cet exemple:
Code:

1 2 3 4 5 6 7 8 9 10 11 $ cat fichier GROUPE1 ; uid=JJKSUHD GROUPE2 ; uid=JDHYDE SGVsbG8gV29ybGQ= ; uid=XDSEF TGludXggcm9ja3Mh ; uid=XFDEEF $ awk -F" ; " 'length($1)>10{"echo "$1"| openssl enc -base64 -d" | getline d; $1=d}1' OFS=" ; " fichier GROUPE1 ; uid=JJKSUHD GROUPE2 ; uid=JDHYDE Hello World ; uid=XDSEF Linux rocks! ; uid=XFDEEF
Pour cet exemple, la condition est basée sur la longueur de la chaîne $1, comme demandé dans ton premier post, mais tu peux y mettre ce que tu veux, y compris des regex.

18/07/2013, 17h25
huître

j'obtiens un message d'erreur à partir du code que tu as publié
syntax error: got |, expecting Newline mais c'est normal j'ai rajouté un flag je vais retester je te tiendrais au courant

merci
19/07/2013, 11h09
huître
j'ai testé ton code ça ne decrypte pas toutes les lignes

ca marche si les lignes ont des codes différents

par exemple celle ci
SGVsbG8gV29ybGQ= ; uid=XDSEF
TGludXggcm9ja3Mh ; uid=XFDEEF

mais si les lignes ont des codes à decrypter identique comme ci dessous

TGludXggcm9ja3Mh ; uid=XFDEEF
TGludXggcm9ja3Mh ; uid=HJDGHYC

je vais avoir

Linux rocks! ; uid=XFDEEF
; uid=HJDGHYC

soit dit en passant

j'ai rajouté un flag au debut de chaque ligne pour reperer les lignes à décoder et j'ai tester

Code:

awk -F";" '/^ADECODER.*/{"echo "$1"|sed -e 's/^ADECODER//'|openssl enc -base64 -d" | getline d; $1=d}1' OFS=";" fichier.txt

est ce que tu pourrais m'expliquer
Code:

1 2 getline d; $1=d
19/07/2013, 11h10
huître
j'ai testé ton code ça ne decrypte pas toutes les lignes

ca marche si les lignes ont des codes différents

par exemple celle ci
SGVsbG8gV29ybGQ= ; uid=XDSEF
TGludXggcm9ja3Mh ; uid=XFDEEF

mais si les lignes ont des codes à decrypter identique comme ci dessous

TGludXggcm9ja3Mh ; uid=XFDEEF
TGludXggcm9ja3Mh ; uid=HJDGHYC

je vais avoir

Linux rocks! ; uid=XFDEEF
; uid=HJDGHYC

soit dit en passant

j'ai rajouté un flag au debut de chaque ligne pour reperer les lignes à décoder et j'ai tester

Code:

awk -F";" '/^ADECODER.*/{"echo "$1"|sed -e 's/^ADECODER//'|openssl enc -base64 -d" | getline d; $1=d}1' OFS=";" fichier.txt

est ce que tu pourrais m'expliquer cette ligne?
Code:

1 2 getline d; $1=d

Bonjour,

Voici une version en perl (qui me semble plus adapter):

Code:

1
2
3
4
5
6
7
$ cat fic.enc 
ADECODERTGludXggcm9ja3Mh ; uid=XFDEEF
ADECODERTGludXggcm9ja3Mh ; uid=HJDGHYC
GROUPE1 ; uid=JJKSUHD
GROUPE2 ; uid=JDHYDE
ADECODERSGVsbG8gV29ybGQ= ; uid=XDSEF
ADECODERTGludXggcm9ja3Mh ; uid=XFDEEF

Code:

1
2
3
4
5
6
7
$ perl -MMIME::Base64 -F\; -ane 'if (/^ADECODER/){$F[0]=decode_base64(substr($F[0],8));print join(" ;", @F)} else {print $_}' fic.enc 
Linux rocks! ; uid=XFDEEF
Linux rocks! ; uid=HJDGHYC
GROUPE1 ; uid=JJKSUHD
GROUPE2 ; uid=JDHYDE
Hello World ; uid=XDSEF
Linux rocks! ; uid=XFDEEF

19/07/2013, 12h50
huître

ca marche merci

mais je n'ai pas compris ta commande surtout que je ne connais pas le perl

Code:

perl -MMIME::Base64 -F\; -ane 'if (/^ADECODER/){$F[0]=decode_base64(substr($F[0],8));print join(" ;", @F)} else {print $_}' fic.enc

est ce que tu pourrais me l'expliquer stp?
19/07/2013, 14h22
disedorgue
Ici, je me suis pourtant arrangé pour que cela soit facilement lisible mais j'admet qu'il y a quelque subtililés lié à perl:

Code:

-MMIME::Base64

Pour dire à perl que l'on va utiliser ce module (mais bon, je pense que tu avais déjà deviné)

Code:

-F\; -ane

Alors, -n c'est le connecteur pour lui dire d'écrire sur la sortie standart (c'est un peu l'inverse du -n de sed)
-e comme en sed, on dit à perl d'executer ce qui suit.
-a est ce que l'on pourrait dire une des subtilités qui est fortement lié à -F\; :
le -F pour indiquer un séparateur (ici ';' )
le -a pour dire à perl de créé le tableau F avec les données en entrée en tenant compte du séparateur (si pas d'option -F, le séparateur par défaut est l'espace)
Code:

1 2 3 4 5 if (/^ADECODER/){ $F[0]=decode_base64(substr($F[0],8)); print join(" ;", @F)} else { print $_}
ici, c'est un if else comme on en rencontre en awk par exemple.

Code:

substr($F[0],8)

ici, on récupère la sous chaine à partir du 9ème caractère (comme dans tous les tableaux, l'indice commence à 0) de F[0] (pour retirer ADECODER qui fait 8 lettres)

Code:

join(" ;", @F)

On prend tous les éléments du tableau F et on les joint ensemble avec ici " ;"

Code:

$_

est pour simplifer, la ligne en entrée
19/07/2013, 19h17
ripat
Citation:

Envoyé par huître

mais si les lignes ont des codes à decrypter identique comme ci dessous

TGludXggcm9ja3Mh ; uid=XFDEEF
TGludXggcm9ja3Mh ; uid=HJDGHYC

je vais avoir

Linux rocks! ; uid=XFDEEF
; uid=HJDGHYC

Aucune raison que ça ne fonctionne pas. Tu dois avoir un autre problème avec ton fichier.

Edit: Je viens de relire ta modification avec l'introduction d'un sed dans la commande shell. Ce n'est ni très élégant ni très efficace et ça pourrait être la raison de tes lignes blanches. Donne-nous un exemple *concret* de ton fichier de départ. L'introduction d'une balise ADECODER ne me semble pas la solution la plus efficace non plus car elle implique un passage supplémentaire à la moulinette. Une fois encore, donne-nous un extrait du fichier réel sinon on risque de tourner en rond.
Citation:
Envoyé par huître

est ce que tu pourrais m'expliquer cette ligne?

Code:

1 2 getline d; $1=d
L'utilisation de getline depuis un pipe awk est une des manières de récupérer le résultat d'une commande du shell dans une variable awk
http://www.gnu.org/software/gawk/man...iable_002fPipe

Pour ceux qui comme moi, cela dérange de passer par du perl (j'entends par là du perl one-line) pour juste une portion du script, voici une version awk qui se charge de faire le décodage du base64 (inspiré d'une source internet avec correction d'un bug sur le caractère complément "=" ) et adapté au besoin d'ici:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
$ cat decB64.awk
BEGIN {  b64="ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/"
  OFS=FS
}
/^ADECODER/ {$1=substr($1,9)
 sub(/=/,"A",$1)
 st=""
 for(i=1;i<=length($1);i++) {
    c=index(b64,substr($1,i,1));
    if(c--) {
      for(b=0;b<6;b++) {
        o=o*2+int(c/32); c=(c*2)%64;
        if(++obc==8) { st= st sprintf( "%c",o); obc=0; o=0; }
      }
    }
  }
 $1=st" "
}
{print}

ce qui donne:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
$ cat enc.txt
ADECODERTGludXggcm9ja3Mh ; uid=XFDEEF ; tutu
ADECODERTGludXggcm9ja3Mh ; uid=HJDGHYC ; tutu
GROUPE1 ; uid=JJKSUHD ; tutu
GROUPE2 ; uid=JDHYDE ; tutu
ADECODERSGVsbG8gV29ybGQ= ; uid=XDSEF
ADECODERTGludXggcm9ja3Mh ; uid=XFDEEF ; tutu
 
$ cat enc.txt | awk -F\; -f ./decB64.awk
Linux rocks! ; uid=XFDEEF ; tutu
Linux rocks! ; uid=HJDGHYC ; tutu
GROUPE1 ; uid=JJKSUHD ; tutu
GROUPE2 ; uid=JDHYDE ; tutu
Hello World ; uid=XDSEF
Linux rocks! ; uid=XFDEEF ; tutu

21/07/2013, 20h31
huître

merci beaucoup pour votre aide
22/07/2013, 12h39
ripat
@disedorgue: solution élégante, pure awk que l'on trouve effectivement sur le net mais, une fois n'est pas coutume, l'appel à un sous process depuis awk semble nettement plus véloce.

Testé sur un fichier de 50000 lignes:
- awk avec sous process et récupération du résultat par getline (voir plus haut): 0.193s
- awk pur: 3.533s (mawk fait un peu mieux: 2.027s)
- Autre piste en awk pur: http://www.turtle.dds.nl/b64dec.awk Plus rapide: 0.983s mais toujours pas autant que le sous-process.
- Et enfin perl: 0.227s.
Faites votre choix!

;)
22/07/2013, 22h47
disedorgue

Bah, je ne suis pas trop étonné que awk soit plus lent, il n'est pas réputé pour être super véloce.
L'autre script en awk pure, est plus rapide car il traite directement 4 caractères à la fois (tel que prévu par base64) et ne fait que des divisions ou multiplications par 2.
Par contre, où je suis surpris, c'est le perl légèrement plus lent que le awk + sous process (ce qui montre qu'openssl doit etre bien optimisé).

PS: Même si ce serait certainement le plus lent, le faire en pure builtin bash, ce pourrait être amusant...

Citation:

Envoyé par disedorgue

Bah, je ne suis pas trop étonné que awk soit plus lent, il n'est pas réputé pour être super véloce.
L'autre script en awk pure, est plus rapide car il traite directement 4 caractères à la fois (tel que prévu par base64) et ne fait que des divisions ou multiplications par 2.
Par contre, où je suis surpris, c'est le perl légèrement plus lent que le awk + sous process (ce qui montre qu'openssl doit etre bien optimisé).

Étonnant effectivement. Comme quoi il faut éviter se baser sur des généralités pour tirer des conclusions. Il faut tester. surtout pour un travail répétitif sur de gros fichiers. Sinon, on prend l'outil avec lequel on se sent le plus à l'aise.

J'ai aussi fait le test en python sur le même fichier: 0,455s. Plus lent que perl. Mais je ne suis pas un cador en python et il y a certainement moyen d'optimiser mon code.
Code:

1 2 3 4 5 6 7 8 9 import base64, sys fp = open(sys.argv[1], "r") for line in fp: F = line.split(' ; ') if len(F[0]) > 10: F[0]=base64.b64decode(F[0].encode('ascii')).decode('ascii') print (' ; '.join(F))

Pour le fun, un petit decodeur base64 en pure builtin bash:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
#!/bin/bash
 
LC_COLLATE=C
enco=$1
y=""
 
while [ -n "${enco:$i:1}" ]
do
 x=${enco:$i:1}
 case $x in
   [a-z])
     x=$(($(printf %d "'$x'") - 71))
     ;;
   [A-Z])
     x=$(($(printf %d "'$x'") - 65))
     ;;
   [0-9])
     x=$(($(printf %d "'$x'") + 4))
     ;;
   +)
     x=62
     ;;
   /)
     x=63
     ;;
   =)
     x=0
     ;;
 esac
 (( x & 32 )) && y="${y}1" || y="${y}0"
 (( x & 16 )) && y="${y}1" || y="${y}0"
 (( x & 8 )) && y="${y}1" || y="${y}0"
 (( x & 4 )) && y="${y}1" || y="${y}0"
 (( x & 2 )) && y="${y}1" || y="${y}0"
 (( x & 1 )) && y="${y}1" || y="${y}0"
 ((++i))
done
i=0
while [ -n "${y:$i:8}" ]
do
 let z="2#${y:$i:8}"
 s=$s$(printf '\\x'%x $z)
 ((i+=8))
done
echo -e "$s"

Code:

1
2
3
4
$ bash ./decode_base64.sh TGludXggcm9ja3Mh
Linux rocks!
$ bash ./decode_base64.sh SGVsbG8gV29ybGQ=
Hello World

Bon, c'est très loin d'être rapide, c'est donc juste pour le fun et un petit dernier avant de bonnes vacances bien méritées.

Bonnes Vacances !!!

Fuseau horaire GMT +2. Il est actuellement 09h50.