[awk] Index des champs de lignes variables

Version imprimable

26/07/2019, 17h51
tompaspro

[awk] Index des champs de lignes variables
Bonjour

j'ai un fichier qui se présente avec des lignes qui n'ont pas un NF fixe, car un des champs (le nom, ici en $3 en première ligne) est parfois composé d'espaces :
Code:

1 2 3 abc 2Dtoto nom1 2 2019aaa def 2Dtiti nom2 ext -4 2019bbb ghi 2Dtutu nom3 extA extB 3 2019ccc
Je souhaite extraire ce nom en totalité. J'ai tenté via index, en tentant d'extraire les données entre le début du $3 et le celui de l'avant dernier champ (NF-1) moins 1 position, çad avec index et un calcul de longueur adéquate :

Code:

nom = substr($0,index($0,$3),index($0,$(NF-1))-index($0,$3)-1)

Malheureusement, ça ne marche pas pour la ligne 1 et la ligne 3 : l'index trouve l'occurrence de $(NF-1) [='2' ou '3' pour ces lignes] bien avant cette position (càd en $2 et $3 respectivement).
Question : n'y a-t-il pas un moyen de connaitre les position dans $0 de chaque champ $i (de 1 à NF) ?

Merci pour toute idée
26/07/2019, 20h08
Flodelarab
Bonjour :coucou:

Déjà, es-tu bien sûr qu'il s'agit d'espaces ? Ne sont-ce pas des tabulations ?

Ensuite, si les champs ne permettent pas de se repérer, alors, c'est que les champs commencent tous au même caractère. (ce qui semble être le cas)

D'où la question, pourquoi awk ?
Code:

1 2 3 4 $ sed 's/.\{15\}//;s/[[:blank:]].*//' fichier.txt nom1 nom2 nom3
26/07/2019, 22h17
N_BaH

la notion de champs recoupe celle de séparateur de champ.
s'il n'y a pas de séparateur : il n'y a pas de champ. :(
le séparateur par défaut de awk est l'espace, qu'importe leur nombre consécutif.
cela implique que des espaces entourant des champs vides seront perçus par awk comme un seul espace, sans "voir" le(s) champs vide(s).

il faut donner une structure plus rigoureuse au fichier lors de sa création.
d'où viennent les données ?

salut,

le fichier semble indiquer que les "colonnes" ont une taille fixe, s'il s'agit bien d'espaces en awk on peut envisager quelque chose du genre :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
#!/usr/bin/awk -f
 
BEGIN {
   # "abc  2Dtoto    nom1               2    2019aaa"
   #  ^    ^         ^                  ^    ^
   #  0    5         15                 34   39
   sep1 = 5
   sep2 = 15
   sep3 = 34
   sep4 = 39
}
 
{
   #  on extrait la chaine...        ...et on enleve les espaces/tabulations qui trainent
   f1 = substr($0, 0, sep1)            ; sub(/[ \t]+$/, "", f1)
   f2 = substr($0, sep1+1, sep2-sep1)  ; sub(/[ \t]+$/, "", f2)
   f3 = substr($0, sep2+1, sep3-sep2)  ; sub(/[ \t]+$/, "", f3)
   f4 = substr($0, sep3+1, sep4-sep3)  ; sub(/[ \t]+$/, "", f4)
   f5 = substr($0, sep4+1)             ; sub(/[ \t]+$/, "", f5)
 
   # on affiche
   printf("line = \"%s\"\n", $0)
   printf("f1   = \"%s\"\n", f1)
   printf("f2   = \"%s\"\n", f2)
   printf("f3   = \"%s\"\n", f3)
   printf("f4   = \"%s\"\n", f4)
   printf("f5   = \"%s\"\n", f5)
   printf("\n")
}

et le résultat :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
$ ./script.awk fichier
line = "abc  2Dtoto    nom1               2    2019aaa"
f1   = "abc"
f2   = "2Dtoto"
f3   = "nom1"
f4   = "2"
f5   = "2019aaa"
 
line = "def  2Dtiti    nom2 ext           -4   2019bbb  "
f1   = "def"
f2   = "2Dtiti"
f3   = "nom2 ext"
f4   = "-4"
f5   = "2019bbb"
 
line = "ghi  2Dtutu    nom3 extA extB     3    2019ccc"
f1   = "ghi"
f2   = "2Dtutu"
f3   = "nom3 extA extB"
f4   = "3"
f5   = "2019ccc"

26/07/2019, 23h31
N_BaH

Gawk dispose d'une variable FIELDWIDTHS pour lire les fichiers à colonnes à longueur fixe.

Pour le fun:

Code:

1
2
3
4
5
6
7
8
$ cat /tmp/fic.txt 
abc  2Dtoto    nom1               2    2019aaa
def  2Dtiti    nom2 ext           -4   2019bbb	
ghi  2Dtutu    nom3 extA extB     3    2019ccc
$ awk '{NF-=2;$1=$2="";gsub(FS FS,"")}1' /tmp/fic.txt 
nom1
nom2 ext
nom3 extA extB

27/07/2019, 00h02
N_BaH

c'est bÔ !!!
29/07/2019, 11h59
tompaspro
Merci à vous 2 :
- je ne connaissais pas la variable FIELDWIDTHS, oui, elle est bien utile ! (en fait mon recueil awk date de l'année 1992, et c'est beau car écrit en LateX ...faudrait p-ê passer à nawk ou gawk apparemment ;))
- le script fonctionne bien, mais je ne comprends pas cette ligne : gsub(FS FS,"") ? Pour moi, cela veut dire que tout double espace est remplacé par du vide. Ok, mais en quoi les 2 derniers champs disparaissent aussi lors du listing ?
--> Qui peut m'éclairer ?
(d'ailleurs je viens d'apprendre cette nouvelle syntaxe ({}1) pour print $0, sympa)

En fait j'ai qd mm réflechi de mon côté en fin de journée, et j'ai trouvé un autre moyen :
Code:

1 2 3 nb_champs_theor = 5 # si pas d'espaces dans le nom nom = $3 for (k=4;k<=3+NF-nb_champs_theor;k++) {nom = nom" "$k}
Un peu plus long mais ça marche aussi

Pour les 2 derniers champs, c'est le NF-=2 qui dit à awk de réduire le nombre de champs (obligatoirement finaux).

En fait, dés que l'on a pas des champs vides (surtout si le FS est l'espace), on peut supprimer un champs quelconque (sauf le dernier) par:

Code:

$n=FS;gsub(FS FS,"")

Avec n le n° du champs que l'on veut supprimer. Celui-ci sera réellement supprimé car même le compteur de champs (NF) est modifié:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 $ awk '{NF-=2;print "NF avant:" NF;print;$1=$2=FS;gsub(FS FS,"");print "NF après:" NF}1' /tmp/fic.txt NF avant:3 abc 2Dtoto nom1 NF après:1 nom1 NF avant:4 def 2Dtiti nom2 ext NF après:2 nom2 ext NF avant:5 ghi 2Dtutu nom3 extA extB NF après:3 nom3 extA extB

29/07/2019, 13h48
tompaspro

autant pour moi, j'avais mal "lu" le NF-=2, en ayant en tête pour je ne sais quelle raison que c'était les 2 premiers champs qui "s'effaçaient" et non les derniers (le $1=$2="" est en effet le pendant de NF-=2 pour les colonnes de gauche)
Thx2all