[awk] Récupérer le nombre de ligne total de la variable NR

Version imprimable

19/02/2020, 15h28
sedawk

[awk] Récupérer le nombre de ligne total de la variable NR
Bonjour,

je me casse la tête depuis ce matin sur un truc qui je pense est simple mais dont j'ai beau retourné dans tout les sens je n'arrive pas à avoir le résultat que je veux.

En gros voici mon problème, j'ai un fichier comme l'/etc/passwd sous linux dont je souhaite afficher toute les ligne sauf la dernière, je sais c'est basique et il y a de multiple façon de le faire simplement :) mais si je suis ici c'est parce que je veux le faire avec une certaine manière ;)

Je voudrais donc pourvoir faire cette opération en utilisant la variable NR de awk, du style :

1) Connaitre le nombre de ligne avec NR
2) Faire une boucle du style "tant que i < NR; afficher la ligne; ++i"

Le problème est que NR n'affiche le total que si on lui met un END à la fin, donc si je fais ma boucle ça va afficher plusieurs fois la même chose à chaque énumération de la la ligne. Par conséquent est-il possible de récupérer le total de la variable NR dès le début et de l'utiliser comme nombre fixe pour faire la boucle ?

Concrètement j'ai un fichier toto de ce style :
Code:

1 2 3 4 5 ligne1 ligne2 ligne3 ligne4 ligne5
si je fais une boucle ça donne ça :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 # cat /tmp/plik |awk '{i=0; while (i < NR) {print; i++;}}' ligne1 ligne2 ligne2 ligne3 ligne3 ligne3 ligne4 ligne4 ligne4 ligne4 ligne5 ligne5 ligne5 ligne5 ligne5
Code:

1 2 3 4 5 6 # cat /tmp/plik |awk '{print NR}' 1 2 3 4 5
Code:

1 2 # cat /tmp/plik |awk 'END {print NR}' 5
ce que je voudrais c'est ça:
Code:

1 2 3 4 5 #<super awk de la mort qui tue> NR ? ligne1 ligne2 ligne3 ligne4
Je ne sais pas si c'est faisable ?

Merci d'avance.
19/02/2020, 16h16
balkany

Si vraiment tu as besoin de faire une boucle, alors tu remplis un tableau avec le contenu de ton fichier, et arrivé à END, tu travailles avec (et avec NR ayant la bonne valeur) :

Code:

awk '{a[NR]=$0} END{for (i=1;i<NR;i++) print a[i]}' fichier

S'il s'agit juste d'afficher toutes les lignes sauf la dernière, tu peux faire

Code:

awk 'NR>1{print line} {line=$0}' fichier

Salut,

Un truc comme ceci peut être :

Code:

1
2
 
 awk ' BEGIN { getline test < "/etc/passwd" }  { if ( getline test < "/etc/passwd" != 0 ) { print  $0   }   }' /etc/passwd

19/02/2020, 18h30
disedorgue

Une méthode rustique pour afficher toutes les lignes sauf la dernière (fonctionne au moins en gawk) :

Code:

awk '{p=c ; c=$0} $0=p' fichier
19/02/2020, 19h04
Flodelarab

Bonjour :coucou:

D'abord, si quelqu'un passe par ici et se demande, la façon simple de faire est celle-ci :

Code:

head -n -1 fichier

Citation:

Code:

awk '{p=c ; c=$0} $0=p' fichier

Un script qui a la vertu de supprimer les lignes vides par la même occasion :).
19/02/2020, 19h28
sedawk
Merci à tous pour vos réponses, la méthode de Balakany correspond exactement à ce que je voulais :)

Par contre j'aimerais comprendre comment ce que la commande fait exactement ?

Celui-ci j'ai compris et je le trouve très élégant :

Code:

awk '{a[NR]=$0} END{for (i=1;i<NR;i++) print a[i]}' fichier

Par contre celui-ci malgré la simplicité de sa syntaxe :

Code:

awk 'NR>1{print line} {line=$0}' fichier

De ce que je comprends awk lit le fichier, énumère chaque lignes lues mais au lieu de commencer par la ligne 1 et il commence par la ligne 2, ensuite il les affiche, mais je comprends pas comment il substitue dans l'exemple ci-dessous la ligne2 avec la ligne1 ? Comment ce décalage a pu se faire ? c'est une sorte de "shift" comme en shell ?
```
# cat /tmp/plik  |awk 'NR>1 {print NR, $0}'
2 ligne2
3 ligne3
4 ligne4
5 ligne5
```
```
# cat /tmp/plik  |awk 'NR>1 {print NR, ligne}{ligne=$0}'
2 ligne1
3 ligne2
4 ligne3
5 ligne4
```
19/02/2020, 20h22
Flodelarab

La variable garde la totalité de la ligne en mémoire. Quand on est à la ligne n on traite, donc affiche, la ligne n-1. Pour afficher la dernière ligne, il faudrait être à la ligne FIN + 1. Ce qui est évidemment impossible. Et pour que aucune action ne soit effectuée à la première ligne, on met une condition NR>1. Le côté strict de l'inégalité est important. On aurait pu mettre NR!=1.
19/02/2020, 20h36
disedorgue

Plaisanterie à part, un détail à savoir si on utilise la méthode n° 2 de Balkany (la plus viable si on utilise awk) :

Ne faut-il pas mieux choisir FNR au lieu de NR ?

Ça dépend du besoin. Si on veut afficher la totalité des lignes de plusieurs fichiers sauf la dernière de chaque fichier, on utilisera FNR, si on veut afficher la totalité de toutes les lignes de plusieurs fichiers sauf la dernière du dernier fichier, on utilisera NR.
19/02/2020, 21h45
N_BaH

ce n'est jamais une bonne idée de faire des tests de programmation en tant que root. :massacre:

Merci pour les précisions, en faite je ne savais pas que l'on pouvait initialiser des variables en faisant juste comme ça :

Code:

{print line} {line=$0}

Je pensais que l'on était obligé de le définir obligatoirement comme NOM_VARIABLE=TOTO, la on le défini sans NOM et obligatoirement avec un print d'après ce que je comprends ? Je vois une différence selon la position du print

fichier d'origine :
Code:

1 2 3 4 5 6 cat /tmp/plik ligne1 ligne2 ligne3 ligne4 ligne5
ensuite avec awk :
Code:

1 2 3 4 5 6 7 8 9 10 11 cat /tmp/plik |awk 'NR>1 {ligne}{print line=$0}' ligne1 ligne2 ligne3 ligne4 ligne5 cat /tmp/plik |awk 'NR>1 {print ligne}{line=$0}' ligne1 ligne2 ligne3 ligne4
La syntaxe permet donc d'initialiser une variable qui va s'appeler line ==>

Code:

{print ligne}

Qui ensuite va lire la ligne courante et l'enregistrer ? ==>

Code:

{line=$0}'

Le "print" va servir à lire

Code:

{line=$0}'

?

J'ai essayé de l'initialiser dès le départ avec BEGIN ou avec l'option -v mais je n'ai pas le même résultat, d'où viendrait la confusion ?
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 cat /tmp/plik | awk -v ligne=$0 'NR>1 {print $ligne}' ligne2 ligne3 ligne4 ligne5 cat /tmp/plik |awk 'BEGIN {ligne=$0}; NR>1 {print $ligne}' ligne2 ligne3 ligne4 ligne5 cat /tmp/plik |awk 'NR>1 {print ligne}{ligne=$0}' ligne1 ligne2 ligne3 ligne4

21/02/2020, 19h27
balkany

Citation:

Envoyé par sedawk

d'où viendrait la confusion ?

Les confusions sont multiples en l'occurrence…
Tout d'abord, le découpage que tu fais du programme awk n'est pas valide : un programme awk, comme te l'apprendra le manuel de awk, est une suite de couples condition - action.
Si une condition est vide, on exécute par défaut l'action pour toutes les lignes ; si une action est vide, on affiche par défaut la ligne courante.
Donc le programme awk se découpe comme suit : premier couple condition - action :

Code:

NR>1{print line}

Si le numéro de la ligne courante est strictement supérieur à 1, on affiche le contenu de la variable line (sans avoir besoin de s'interroger sur son contenu à ce stade).
Deuxième couple condition - action :

Code:

{line=$0}

Ici, il n'y a pas de condition, donc pour chaque ligne, on met la ligne courante dans la variable line.
Le résultat logique de tout cela, c'est qu'à la première ligne, on n'affiche rien, mais on met cette première ligne dans la variable line.
À la deuxième ligne, on affiche le contenu de la variable line, donc la ligne 1, et on met la deuxième ligne dans la variable line.
À la troisième ligne, on affiche le contenu de la variable line, donc la ligne 2, et on met la troisième ligne dans la variable line.
Ainsi de suite jusqu'à la fin du fichier.

Pour le reste, désolé d'être un peu abrupt, mais la plupart des choses que tu as écrites n'ont aucun sens.
Reprends les une à une, vois pourquoi elles n'ont pas de sens, et ça te fera avancer (en particulier, qui est $0 ? quand cette expression a-t-elle un sens ? quand a-t-elle un contenu ?)
Fais aussi preuve de plus de rigueur, en particulier pour le nommage de tes variables : ligne et line sont deux choses différentes, aussi bien pour l'ordinateur que pour les humains qui te lisent, et qui sont obligés de corriger à la volée ce que tu écrit pour essayer de te comprendre.

Merci Balkany pour tes explications claires et oui tu as raisons je me suis bien éparpillé dans ma tentative de compréhension du code, à noter que le fait que je n'ai pas été très rigoureux dans ma syntaxe ne m'a pas aidé beaucoup non plus :(

C'est un mal pour bien car cela m'a fait énormément progressé sur la compréhension de mon problème qui à l'air compliqué de prime à bord mais qui au final requérait du bon sens :) Donc pour illustrer ma compréhension de ma commande ci-joint un petit schéma sur le déroulement de l'éxécution de la commande :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 Fichier de données : cat /tmp/plik : ligne1 ligne2 ligne3 ligne4 ligne5 Paramètres : NR total = 5 Lignes (var) ligne = variable ou sera enregistrée la ligne courante Commande à passer pour obtenir toutes les lignes sauf la dernière : cat /tmp/plik |awk 'NR>1 {print ligne}{ligne=$0}' ligne1 ligne2 ligne3 ligne4 Déroulement des actions : Si NR > 1 on affiche la variable ligne ET on enregistre la ligne courante $0 dans la variable "ligne" ligne1 CONDITION : NR = 1 ==>NR>1 ? NON ACTION ==> RIEN + ACTION ==> (var) ligne=ligne1 ligne2 CONDITION : NR = 2 ==> NR>1 ? OUI ACTION ==> print (var) ligne=ligne1 + ACTION ==> (var) ligne=ligne2 ligne3 CONDITION : NR = 3 ==>NR>1 ? OUI ACTION ==> print (var) ligne=ligne2 + ACTION ==> (var) ligne=ligne3 ligne4 CONDITION : NR = 4 ==> NR>1 ? OUI ACTION ==> print (var) ligne=ligne3 + ACTION ==> (var) ligne=ligne4 ligne5 CONDITION : NR = 5 ==>NR>1 ? OUI ACTION ==> print (var) ligne=ligne4 + ACTION ==> (var) ligne=ligne5 NR Total = 5 donc plus de lignes à traiter, donc fin du programme. Ce qui peut se vérifier avec un END à la fin du programme : cat /tmp/plik |awk 'NR>1 {print ligne}{ligne=$0} END {print "ET POUR FINIR LE CONTENU DE LA VARIABLE A LA FIN : " ligne}' ligne1 ligne2 ligne3 ligne4 ET POUR FINIR LE CONTENU DE LA VARIABLE A LA FIN : ligne5

25/02/2020, 17h35
balkany

Impeccable ;)
Juste une remarque : tu n'as pas besoin de faire

Code:

cat fichier | awk 'programme-awk'

Il suffit de faire

Code:

awk 'programme-awk' fichier

Cela se généralise à toute commande qui lit depuis l'entrée standard : soit elle accepte une syntaxe où figure directement le fichier d'entrée, comme pour awk ci-dessus, soit on utilise une redirection :

Code:

commande < fichier

Cela évite un appel inutile à la commande cat.
Ce type d'optimisation te sera proposé par le programme shellcheck, exécutable en ligne : https://www.shellcheck.net/, et que tu peux aussi installer chez toi.
Il te renverra alors vers des pages de son wiki pour explication, et dans le cas présent à celle-ci : https://github.com/koalaman/shellcheck/wiki/SC2002
25/02/2020, 17h39
sedawk

Merci pour les lien !
27/02/2020, 01h36
jack-ft

Citation:

Envoyé par balkany

premier couple condition - action :

Code:

NR>1{print line}

Si le numéro de la ligne courante est strictement supérieur à 1, on affiche le contenu de la variable line (sans avoir besoin de s'interroger sur son contenu à ce stade).
Deuxième couple condition - action :

Code:

{line=$0}

Ici, il n'y a pas de condition, donc pour chaque ligne, on met la ligne courante dans la variable line.
Le résultat logique de tout cela, c'est qu'à la première ligne, on n'affiche rien, mais on met cette première ligne dans la variable line.
À la deuxième ligne, on affiche le contenu de la variable line, donc la ligne 1, et on met la deuxième ligne dans la variable line.
À la troisième ligne, on affiche le contenu de la variable line, donc la ligne 2, et on met la troisième ligne dans la variable line.
Ainsi de suite jusqu'à la fin du fichier.

Je suis complètement d'accord avec Balkany.

En fait, l'astuce et la confusion viennent de ce que la variable line contient parfois la ligne courante et parfois la ligne précédente! (suivant le point de vue où on se place)
Dans la partie {line=$0}, on enregistre le contenu de la ligne courante dans la variable line.
Dans la partie NR>1{print line}, on imprime le contenu de la variable line qui contient... la ligne précédente, puisque la variable a été affectée au tour d'avant.
Évidemment, l'ordre des couples condition - action est primordial.
Si on faisait {line=$0} NR>1{print line}, on imprimerait toutes les lignes sauf la première, car la variable line contiendrait toujours la ligne courante.