Discussion :

[kevin066]

Bonjour,

Je dispose d'un fichier log qui s'alimente à chaque instant, et lorsqu'un mot donné apparaît sur une ligne, je souhaiterais copier la ligne où apparaît la mot dans un fichier et ainsi de suite.

Exemple simple pour comprendre :

Fichier my_log en question :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
service auditd redémarré le 19:04:2021 à 17H30
service ntpd redémarré le 19:04:2021 à 17H31
service snmpd redémarré le 19:04:2021 à 17H32
service postfix redémarré le 19:04:2021 à 17H33
service https redémarré le 19:04:2021 à 17H34

Je voudrais que lorsqu'une ligne contenant ntpd ou https apparaît, la ligne en question soit copiée dans un fichier à part :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

service ntpd redémarré le 19:04:2021 à 17H31

puis

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
service ntpd redémarré le 19:04:2021 à 17H31
service https redémarré le 19:04:2021 à 17H34

... et ainsi de suite.....

Donc un petit script qui check my_log et qui "trappe" les lignes contenant des mots clés.

Merci pour vos idées.

[al1_24]

Ce n'est pas ce que permet grep ?

[kevin066]

Merci pour ta réponse.
Je souhaite envoyer une commande qui check en permanence le fichier log… Tu voudrais dire d’envoyer une commande GREP toutes les cinq secondes par exemple ?

[disedorgue]

la commande tail -f .... | grep .... >fichier.log le tout encapsulé dans un nohup devrait le faire.

[kevin066]

Merci beaucoup.

Le but est de lancer la commande, qu'on en entende plus parler et qu'elle "fasse le job".

Donc en ligne de commande, on pourrait donc lancer la commande :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

nohup tail -f log.txt | grep "toto" >> my_journal.txt &

Chaque fois que "toto" apparaît dans le fichier log.txt, la ligne contenant "toto" est copiée dans le fichier my_journal.txt.

Le "&" combiné au "nohup" permet de lancer la commande en arrière plan… j'aurais préféré via un script…. comment faire ?

[jack-ft]

j'aurais préféré via un script…. comment faire ?

Je ne suis pas sûr de bien comprendre ce que tu veux dire par "j'aurais préféré via un script"

Que veux-tu d'autre que :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
echo 'nohup tail -f log.txt | grep "toto" >> my_journal.txt &' > ./my_script.sh
chmod +x ./my_script.sh
./my_script.sh

[kevin066]

Bonjour,

Le script étant désormais OK, j'obtiens un fichier du type :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
26/04/2021 08:05:39 SERVER1 service1
26/04/2021 08:05:52 SERVER1 service2
26/04/2021 08:08:11 SERVER2 service3
26/04/2021 08:08:24 SERVER1 service1
26/04/2021 08:08:35 SERVER1 service1
26/04/2021 08:09:48 SERVER1 service1
26/04/2021 08:10:01 SERVER2 service3
26/04/2021 08:11:15 SERVER1 service1
26/04/2021 08:12:01 SERVER2 service3
26/04/2021 08:13:50 SERVER2 service2

Comme on peut le voir :

- sur le SERVER1 : service1 apparaît plusieurs fois
- sur le SERVER 2 : service3 apparaît plusieurs fois

Ils figurent en double dans le fichier et je souhaite garder le dernier évènement (le plus récent) pour chacun d'entre eux, c'est à dire :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
26/04/2021 08:05:52 SERVER1 service2
26/04/2021 08:11:15 SERVER1 service1
26/04/2021 08:12:01 SERVER2 service3
26/04/2021 08:13:50 SERVER2 service2

Avez-vous une idée de comment on peut faire ?

Merci.

[Flodelarab]

Bonjour

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

tac | awk '!vu[$3$4]++' | tac

[kevin066]

Bonjour et merci

Voilà le retour de ta commande :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
SERVER5:kevin:/home/kevin>cat toto.txt
26/04/2021 08:05:39 SERVER1 service1
26/04/2021 08:05:52 SERVER1 service2
26/04/2021 08:08:11 SERVER2 service3
26/04/2021 08:08:24 SERVER1 service1
26/04/2021 08:08:35 SERVER1 service1
26/04/2021 08:09:48 SERVER1 service1
26/04/2021 08:10:01 SERVER2 service3
26/04/2021 08:11:15 SERVER1 service1
26/04/2021 08:12:01 SERVER2 service3
26/04/2021 08:13:50 SERVER2 service2
SERVER5:kevin:/home/kevin>
SERVER5:kevin:/home/kevin>cat toto.txt | tac | awk '!vu[$3$4]++' | tac
26/04/2021 08:05:52 SERVER1 service2
26/04/2021 08:11:15 SERVER1 service1
26/04/2021 08:12:01 SERVER2 service3
26/04/2021 08:13:50 SERVER2 service2

Je te remercie, j'aurais pas su

[Flodelarab]

Sans débauche de processus :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk '{vu[$3$4]=$0;} END{for (i in vu) print vu[i];}'

[disedorgue]

Juste question comme ça:

Tu remplis un fichier potentiellement de plusieurs milliers de lignes et tu ne t'intéresses qu'au dernières occurrences ?

Si c' est le cas, il serait peut-être intéressant d'utiliser le dernier awk de Flodelarab pour que celui-ci réinitialise le fichier et n'écrive que le tableau qu'il initie dés que celui-ci change comme ça tu n'aurais que les dernières valeurs à l'instant t.

[kevin066]

Bonjour,

Il fonctionne parfaitement bien merci encore.


Résultat de mon petit reporting (liste des services redémarrés par serveur) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
03/05/2021 10:27:07 SERV1 auditd
03/05/2021 11:42:11 SERV2 ntpd
03/05/2021 07:39:02 SERV1 auditd
03/05/2021 11:43:48 SERV3 httpd
03/05/2021 10:28:16 SERV2 ntpd
03/05/2021 11:12:36 SERV2 ntpd

En ne gardant que le dernier évènement de chaque type par serveur (l'heure à laquelle le service a redémarré la dernière fois) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
03/05/2021 10:27:07 SERV1 auditd
03/05/2021 11:42:11 SERV2 ntpd
03/05/2021 11:43:48 SERV3 httpd

Comment faire apparaître malgré tout les infos ci-dessous ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
Au total,
- auditd relancé 2 fois sur SERV1
- ntpd relancé 3 fois sur SERV2 
- httpd relancé 1 fois sur SERV3

Pour par exemple faire remonter que ntpd a redémarré 3 fois ?

[Flodelarab]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

nb[$3$4]++

[kevin066]

Merci.

Je ne connais pas du tout cette commande, comment s’utilise-t-elle ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
Mon fichier toto.txt vu précédemment :
03/05/2021 10:27:07 SERV1 auditd
03/05/2021 11:42:11 SERV2 ntpd
03/05/2021 07:39:02 SERV1 auditd
03/05/2021 11:43:48 SERV3 httpd
03/05/2021 10:28:16 SERV2 ntpd
03/05/2021 11:12:36 SERV2 ntpd

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
cat toto.txt | awk 'nb[$3$4]++' :
03/05/2021 07:39:02 SERV1 auditd
03/05/2021 10:28:16 SERV2 ntpd
03/05/2021 11:12:36 SERV2 ntpd

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
cat toto.txt | awk '!nb[$3$4]++' :
03/05/2021 10:27:07 SERV1 auditd
03/05/2021 11:42:11 SERV2 ntpd
03/05/2021 11:43:48 SERV3 httpd

Comment utilise t-on cette commande ?

Je profite de l'occasion, suite à ces tests, pour revenir sur un des points vu la semaine dernière => ne faire ressortir que l'évènement le plus récent :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
cat toto.txt | awk '{vu[$3$4]=$0;} END{for (i in vu) print vu[i];}' : 
03/05/2021 11:12:36 SERV2 ntpd
03/05/2021 07:39:02 SERV1 auditd
03/05/2021 11:43:48 SERV3 httpd

Je vois qu'il y a un souci car le plus récent est "03/05/2021 10:27:07 SERV1 auditd"et non "03/05/2021 07:39:02 SERV1 auditd".

Comment corriger cela dans dans le awk '{vu[$3$4]=$0;} END{for (i in vu) print vu[i];}' ?

En revanche, de mon côté j'ai trouvé ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
awk '!vu[$3$4]++' toto.txt
03/05/2021 10:27:07 SERV1 auditd
03/05/2021 11:42:11 SERV2 ntpd
03/05/2021 11:43:48 SERV3 httpd

Ca semble fonctionner, qu'en pensez-vous ?

Merci

[disedorgue]

Juste pour information, lorsque l'on utilise une date, le mieux est de la mettre sous une forme AAAAMMJJHHMMSS car pour une ordinateur, c'est plus simple de trier un nombre qui devient de plus en plus grand au fur et à mesure que le temps s'écoule...