[GNU Sed] Faire un "one shot"

Version imprimable

21/11/2013, 15h01
minnesota

[GNU Sed] Faire un "one shot"

Salut tout le monde ;)

J'ai un petit truc perso à faire, et je pense que GNU Sed, avec votre aide, pourrait m'aider à gagner en temps de traitement.

Voilà le tableau :

Sur une plateforme Windows, j'ai une chaine alpha qui ressemble à ceci

Citation:

"type","date"

et une autre, bêta, qui ressemble à ce qui suit

Citation:

"date=2005-10-26", "type=file", "level=3"

Alpha représente le format à afficher, donc ça peut tout aussi bien être

Citation:

type; none;

le tout insensible à la casse.

L'objectif, comme vous l'avez deviné, c'est de remplir chaque champ de la chaine alpha avec les données correspondantes trouvées dans la chaine bêta, le cas échéant, par une chaine vide si la donnée n'existe pas.

Jusqu'à présent, ce que je fais, c'est parcourir la chaine bêta et charger ses données dans le Shell sous forme de variable et ensuite procéder au remplacement dans la chaine alpha :zekill: Je pense qu'il y a moyen de faire le tout en une seule fois, en une seule passe, le fameux "one shot" ça :kill: ou ça :pan: comme vous voulez :aie:

Idéalement, je voudrais faire ça avec GNU Sed, mais j'ai aucune piste, au pire avec GNU Awk, mais je connais pratiquement pas.

Voilà, j'espère avoir été complet et que cette gymnastique neuronale sera un exercice plaisant.

Merci d'avance pour vos aides ;)
21/11/2013, 15h25
disedorgue

Bonjour,

Pas tout compris, peux-tu donner un exemple de 4 ou 5 lignes de tes 2 fichiers d'entrée et le fichier de sortie en résultant ?
21/11/2013, 16h12
minnesota

ah salut disedorgue, merci,

alors, mon objectif est le suivant, j'ai cette liste par exemple

Citation:

"date=2005-10-26", "type=file", "level=1"
"date=2005-10-27", "type=file", "level=2"
"date=2005-10-28", "type=file", "level=3"

et je dois formater chaque ligne.

si le format est "type";"date";, alors en sortie je devrais avoir

Citation:

"file";"2005-10-26";
"file";"2005-10-26";
"file";"2005-10-26";

Si le format est type; date alors en sortie je devrais avoir

Citation:

file; 2005-10-26
file; 2005-10-26
file; 2005-10-26

Si le format est system; date alors en sortie je devrais avoir

Citation:

; 2005-10-26
; 2005-10-26
; 2005-10-26

Merci encore.

Bonjour.

Quelque chose comme ceci :
Code:

1 2 3 4 5 6 7 8 [neumann@MacBookPro ~]$ cat test.txt "date=2005-10-26", "type=file", "level=1" "date=2005-10-27", "type=file", "level=2" "date=2005-10-28", "type=file", "level=3" [neumann@MacBookPro ~]$ sed 's/.*date=$[0-9]*\-[0-9]*\-[0-9]*$.*type=$[a-z]*$.*/"\2";"\1"/g' test.txt "file";"2005-10-26" "file";"2005-10-27" "file";"2005-10-28"
Après on adapte légèrement en fonction du format de l'autre ligne et c'est réglé :aie: (sinon ça doit être faisable avec awk une fois)

?

Idriss

21/11/2013, 17h02
minnesota

salut ok.Idriss, merci

Citation:

Envoyé par ok.Idriss

Après on adapte légèrement en fonction du format de l'autre ligne et c'est réglé :aie:

:mrgreen:

ce qu'il y a, c'est que le format c'est pas moi qui le choisi, on pourrait presque considérer qu'il est aléatoire, du coup, la commande de remplacement devrait être généré de manière dynamique, c'était la voie sur laquelle je m'étais engagé, mais je sais plus sur quel problème j'avais buté ce jour-là.

ce qu'il y a de certain, c'est que les champs à remplacer c'est des mots qui peuvent contenir les symboles tiret du milieu et tiret bas, mais rien d'autres.

Code:

1
2
3
unix~$ cat test.dat
"token1=t11","token2=t12"
"token1=t21","token2=t22"

avec awk:

Code:

1
2
3
4
5
6
7
unix~$ awk -v liste=token1,token2 -f p.awk test.dat
t11;t12;
t21;t22;
unix~$ awk -v liste=token1,system -f p.awk test.dat
t11;;
t21;;
unix~$

Le code awk:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
BEGIN {
        max = split(liste,champs,",")
}
 
{
        gsub(/"/, "", $0)
}
 
{
        for (x = 1; x <= max; x++) {
                deb = index($0, champs[x])
                len = length(champs[x]) + 1
                if (deb == 0) {
                        printf(";")
                } else {
                        data=substr($0, deb + len, length($0))
                        len=index(data, ",")
                        if (len == 0) {
                                printf("%s;", data)
                        } else {
                                value=substr(data, 1, len - 1)
                                printf("%s;", value)
                        }
                }
    }
        print ""
}

21/11/2013, 18h42
minnesota

salut noooop,

On est sur une bonne voie... je vais creuser en ce sens... merci...

Aussi, pour conserver le format, je me demande s'il serait plus utile de matcher les champs un à un sans se soucier du délimiteur, genre, trouver la première chaine de caractère [sans espaces, guillemets] dans "liste", matcher la valeur correspondante dans la première ligne de données, procéder au remplacement dans "liste" du champ en question par la donnée qui lui correspond, passer au champ suivant, etc. Qu'est-ce que vous pensez (tout le monde) de cette approche ? Où voyez-vous quelque chose qui serait plus optimal ?
21/11/2013, 20h56
noooop

Citation:

Envoyé par minnesota

salut noooop,

On est sur une bonne voie... je vais creuser en ce sens... merci...

Aussi, pour conserver le format, je me demande s'il serait plus utile de matcher les champs un à un sans se soucier du délimiteur, genre, trouver la première chaine de caractère [sans espaces, guillemets] dans "liste", matcher la valeur correspondante dans la première ligne de données, procéder au remplacement dans "liste" du champ en question par la donnée qui lui correspond, passer au champ suivant, etc. Qu'est-ce que vous pensez (tout le monde) de cette approche ? Où voyez-vous quelque chose qui serait plus optimal ?

Tu pourrais aussi passer une chaine de formatage utilisée par un printf général du type:

Code:

%s$1 ; %d$3 ; %s$4

Cette chaine aurait la faculté
1) de préciser le format de sortie (format selon les règles du printf)
2) les chaines $1...$n indiquerait quel token doit être substitué. Exemple: $1 indique le premier token, $2 le deuxième etc.....

Code:

1
2
$ cat alpha
"type","date","level"

Code:

1
2
3
4
5
$ cat beta
"date=2005-10-25", "type=file", "level=3"
"date=2005-10-26", "type=directory", "level=3"
"type=file", "date=2005-10-27", "level=100"
"type=vide", "date=2005-10-27", "foo=bar"

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
$ cat gamma
awk -F, '
pass==1 {
  for(i=1;i<=NF;i++)
  {
    split($i,a,"=")
    gsub("[ \"]","",a[1])
    gsub("[ \"]","",a[2])
    l=tolower(a[1])
    column[l]=a[2]
  }
  for(c in label)
  {
    if(c>1) printf(";")
    printf("%s",column[label[c]])
    column[label[c]]=""
  }
  printf("\n")
}
pass==0 {
  for(i=1;i<=NF;i++) {
    l=tolower($i)
    gsub("\"","",l)
    label[i]=l
  }
  pass=1
}' alpha beta

Code:

1
2
3
4
5
$ ./gamma
file;2005-10-25;3
directory;2005-10-26;3
file;2005-10-27;100
vide;2005-10-27;

Une version sed (à déconseillée aux ames sensible :aie::aie::aie:):

Code:

1
2
3
4
$ cat l1.txt
"date=2005-10-26", "type=file", "level=1"
"date=2005-10-27", "type=file", "level=2"
"date=2005-10-28", "type=file", "level=3"

Le code sed en lui-même:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
s/$/;/
x
s/^/s%^%ICI%/p
x
:deb
h
s/\("*\)\([^;"]*\)\("*\);.*$/\/\2\/!s%ICI%;ICI%;\/\2\/s%ICI.*"\1\2\3=\\([^"]*"\\).*%"\\1;\&%/
/""/!s/$/;s%"\\([^"]*\\)";ICI%\\1;ICI%/
/""/s/"\(["=]\)/\1/g
p
x
s/[^;]*;*//
/^$/!bdeb
s/^/s%;ICI.*%%/p

Et s'execute comme ceci:

Code:

1
2
3
4
$ echo 'tyupe;type;date;type;level' | sed -n -e 's/$/;/;x;s/^/s%^%ICI%/p;x;:deb;h;s/\("*\)\([^;"]*\)\("*\);.*$/\/\2\/!s%ICI%;ICI%;\/\2\/s%ICI.*"\1\2\3=\\([^"]*"\\).*%"\\1;\&%/;/""/!s/$/;s%"\\([^"]*\\)";ICI%\\1;ICI%/;/""/s/"\(["=]\)/\1/g;p;x;s/[^;]*;*//;/^$/!bdeb;s/^/s%;ICI.*%%/p'| sed -f - l1.txt
;file;2005-10-26;file;1
;file;2005-10-27;file;2
;file;2005-10-28;file;3

Code:

1
2
3
4
$ echo 'type;"date";type;level' | sed -n -e 's/$/;/;x;s/^/s%^%ICI%/p;x;:deb;h;s/\("*\)\([^;"]*\)\("*\);.*$/\/\2\/!s%ICI%;ICI%;\/\2\/s%ICI.*"\1\2\3=\\([^"]*"\\).*%"\\1;\&%/;/""/!s/$/;s%"\\([^"]*\\)";ICI%\\1;ICI%/;/""/s/"\(["=]\)/\1/g;p;x;s/[^;]*;*//;/^$/!bdeb;s/^/s%;ICI.*%%/p'| sed -f - l1.txt
file;"2005-10-26";file;1
file;"2005-10-27";file;2
file;"2005-10-28";file;3

Code:

1
2
3
4
$ echo 'type;"date";level' | sed -n -e 's/$/;/;x;s/^/s%^%ICI%/p;x;:deb;h;s/\("*\)\([^;"]*\)\("*\);.*$/\/\2\/!s%ICI%;ICI%;\/\2\/s%ICI.*"\1\2\3=\\([^"]*"\\).*%"\\1;\&%/;/""/!s/$/;s%"\\([^"]*\\)";ICI%\\1;ICI%/;/""/s/"\(["=]\)/\1/g;p;x;s/[^;]*;*//;/^$/!bdeb;s/^/s%;ICI.*%%/p'| sed -f - l1.txt
file;"2005-10-26";1
file;"2005-10-27";2
file;"2005-10-28";3

Bonne lecture...:lefou:

salut tout le monde,

:lahola:

merci beaucoup pour vos réponses ;)

Un gros bravo pour la dernière que j'aimerais bien voir maximaliser comme qui dirait. Au passage, pour ceux qui sont sur Windows, comme le script est destiné à cette platforme, notez que le modulo est un métacaractère, donc pour pouvoir tester le script, il faut échapper le modulo en le dédoublant ou passer par un script sed.

Je ferais des scripts de tests, et on choisira ensemble ou fera ensemble ce qu'il y a de plus optimal pour gnu awk et gnu sed. L'acquisition des données se faisant à partir de flux, idéalement, la forme de test devrait être cat pseudo_flux | awk_OR_sed ...., bien sûr, rien n'empêche de passer par des fichiers temporaires, mais si on peut éviter, c'est un plus.

En ce qui me concerne, je me suis essayé à awk ce midi, y'a certainement des détails à revoir ou des coquilles qui seraient dues aux subtilités d'un awk que je ne connais pas, donc je compte sur vous pour les mettre en lumières.

J'ai mis les fins de ligne au format Unix, je sait pas si c'est encore indispensable.
Code:

1 2 3 4 5 6 $ cat pseudo_flux.txt "date=2005-10-26", "type=file", "level=1", "file=x11" "date=2005-10-27", "type=file", "level=2", "file=x22" "date=2005-10-28", "type=file", "level=3", "file=x33" "date=2005-10-29", "type=file", "level=4", "file=x44" "date=2005-10-30", "type=file", "level=5", "file=x55"
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 $ cat awk_one_shot BEGIN { #.@Note: prefix for avoiding a potential cyclic substitution in body gsub step prefix= "object@" fields_format= ENVIRON[output_model] if (!fields_format) exit 1 IGNORECASE= 1 reg_exp= "[^;,[:blank:]\x22\x27]+" gsub(reg_exp, prefix "&", fields_format) } { #.@Note: alterable variables tmp_format= fields_format tmp_output= fields_format print_output= 0 while (match(tmp_format, reg_exp)) { field_loop= substr(tmp_format, RSTART, RLENGTH) tmp_format= substr(tmp_format, RSTART + RLENGTH) field_objet= substr(field_loop, length(prefix) + 1) field_value="" if (match($0, field_objet "=[^\x22]+")) field_value= substr(substr($0, RSTART, RLENGTH), length(field_objet) + 2) gsub(field_loop, field_value, tmp_output) print_output= 1 } if (print_output) if (tmp_output) print tmp_output }
sur win
Code:

1 2 3 4 5 6 7 > set "output_format="type";" undefined ";"date";"file"" > type pseudo_flux.txt| awk -v output_model="output_format" -f awk_one_shot "file";" ";"2005-10-26";"x11" "file";" ";"2005-10-27";"x22" "file";" ";"2005-10-28";"x33" "file";" ";"2005-10-29";"x44" "file";" ";"2005-10-30";"x55"
sur unix; ça donnerait
Code:

1 2 3 4 5 6 7 $ export output_format='"type";" undefined ";"date";"file"' $ cat pseudo_flux.txt| awk -v output_model="output_format" -f awk_one_shot "file";" ";"2005-10-26";"x11" "file";" ";"2005-10-27";"x22" "file";" ";"2005-10-28";"x33" "file";" ";"2005-10-29";"x44" "file";" ";"2005-10-30";"x55"
encore merci ;)

22/11/2013, 16h24
disedorgue

Citation:

Envoyé par minnesota

Un gros bravo pour la dernière que j'aimerais bien voir maximaliser comme qui dirait. Au passage, pour ceux qui sont sur Windows, comme le script est destiné à cette platforme, notez que le modulo est un métacaractère, donc pour pouvoir tester le script, il faut échapper le modulo en le dédoublant ou passer par un script sed.

Ou il suffit de remplacer les modulo par n'importe quel autre caractère tant que c'est toujours le même...
J'ai juste mis des modulo pour une meilleur lisibilité, si j'avais utilisé le caratère standard qui est le "/" il aurait fallut que je l'échappe à chaque fois...
Sinon, pour ma part, j'utiliserais plutot awk que sed (que j'ai fait comme qui dirait pour m'amuser...) ;)
22/11/2013, 16h42
minnesota

Citation:

Envoyé par disedorgue

Sinon, pour ma part, j'utiliserais plutot awk que sed (que j'ai fait comme qui dirait pour m'amuser...) ;)

Alors, va pour awk, en tout cas t'as fait un bel exercice, mais je ne désespère pas de voir une version sed :P parce que c'est beau :mrgreen:

merci ;)

je laisse les deux retardataires à qui aussi je me suis habitué ici apporter leurs contributions,
après je mets le :resolu:

Edit:

Ah quand on parle du loup :mouarf:

Voici une version fonctionnel en sed beaucoup plus simple que la première version (et qui conserve le format demander):

Code:

1
2
3
4
5
6
$ cat l2.sed
s/\([^[:alnum:]]*\)\([[:alnum:]]*\)/\/\2\/!s\/_ICI_.*\/\1\&\/;\/\2\/s\/_ICI_.*"\2=\\([^"]*\\)".*\/\1\\1_ICI_\&\/;/g
s/^/s\/^\/_ICI_\/;/
s/\/\/s\/.*//
s/\/\/!//
s/$/s\/_ICI_.*\/\//

Voici des exemples de ce que cela donne

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
$ echo '"type";  titi  ;date;toto' | sed -f l2.sed | sed -f - l1.txt
"file";    ;2005-10-26;
"file";    ;2005-10-27;
"file";    ;2005-10-28;
$ echo '"type";  level  ;date;toto' | sed -f l2.sed | sed -f - l1.txt
"file";  1  ;2005-10-26;
"file";  2  ;2005-10-27;
"file";  3  ;2005-10-28;
$ echo '"type";  "level"  ;date;toto' | sed -f l2.sed | sed -f - l1.txt
"file";  "1"  ;2005-10-26;
"file";  "2"  ;2005-10-27;
"file";  "3"  ;2005-10-28;
$ echo '"type",  "level"  ,date' | sed -f l2.sed | sed -f - l1.txt
"file",  "1"  ,2005-10-26
"file",  "2"  ,2005-10-27
"file",  "3"  ,2005-10-28
$ echo '"type",  "level"  ,date:;' | sed -f l2.sed | sed -f - l1.txt
"file",  "1"  ,2005-10-26:;
"file",  "2"  ,2005-10-27:;
"file",  "3"  ,2005-10-28:;

23/11/2013, 15h34
minnesota

Je savais que tu ne t'arrêterais pas en si bon chemin, merci disedorgue ;)
Un autre grand merci à ok.Idriss, noooop, jlliagre pour votre contribution ;)

Grâce à vous j'ai de quoi faire et j'ai pu découvrir en même temps awk

Encore merci ;)