Script de supervision d'un fichier log

Version imprimable

27/02/2016, 12h21
fabio1978

Script de supervision d'un fichier log

Bonjour,

Je fait appel à vous pour l'aide de l'écriture d'un script qui permettra de connaître les nombre de connexion htpp inscrit dans un fichier log.
L'objectif est de scanner à interval régulier la lecture d'un fichier et de déclencher un envoi de mail lorsqu'un seuil est atteint.

Le fichier log se compose de la manière suivante :

[Sat Feb 27 00:00:15 2016] [error] [client xxx.xx.xx.xxx] File does not exist: /app/data/ico.jpg
[Sat Feb 27 00:00:59 2016] [error] [client xxx.xx.xx.xxx] File does not exist: /app/data/ico.jpg
[Sat Feb 27 00:01:33 2016] [notice] mpmstats: approaching MaxClients (595/600)
[Sat Feb 27 00:01:45 2016] [notice] mpmstats: rdy 5 bsy 595 rd 2 wr 3 ka 590 log 0 dns 0 cls 0
[Sat Feb 27 00:01:59 2016] [notice] mpmstats: bsy: 1 in mod_cgid.c
[Sat Feb 27 00:03:25 2016] [error] [client xxx.xx.xx.xxx] File does not exist: /app/data/ico.jpg
[Sat Feb 27 00:09:01 2016] [error] [client xxx.xx.xx.xxx] File does not exist: /app/data/ico.jpg

La où je pêche un peu, c'est dans l'analyse de la ligne recherchée.
Celle qui nous intéresse :

[Sat Feb 27 00:00:15 2016] [notice] mpmstats: rdy 5 bsy 595 rd 2 wr 3 ka 590 log 0 dns 0 cls 0

Les mots clé de la ligne sont : notice - rdy et bsy
et le chiffre à analyser est celui suivant "bsy" ==> ici 595

Une fois le chiffre sur la bonne trouvé, je ferai une analyse pour comparer suivant un seuil.

L'idée de départ était de faire un tail des "xx" dernières lignes et d'utiliser soit le awk ou le sed pour analyser la ligne...
C'est là que ça se complique.

Auriez-vous SVP une piste de départ pour analyser cette ligne ?
Par avance merci

Bonjour :coucou:

Pour indiquer le nombre de connexion htpp, cette simple commande suffit:

Code:

echo 0

Maintenant, si on élargit aux requêtes http, voyons ce qu'on peut faire avec les éléments discriminatoires que tu donnes.
Tu indiques un tiret mais ta ligne n'a aucun tiret. Ça part mal. On ne garde que les mots clés "notice", "rdy" et "bsy"

Ton échantillon est pas mal mais n'a qu'une seule connexion. Je le triple en incrémentant le bsy.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
$ cat htpp.dat 
[Sat Feb 27 00:00:15 2016] [error] [client xxx.xx.xx.xxx] File does not exist: /app/data/ico.jpg
[Sat Feb 27 00:00:59 2016] [error] [client xxx.xx.xx.xxx] File does not exist: /app/data/ico.jpg
[Sat Feb 27 00:01:33 2016] [notice] mpmstats: approaching MaxClients (595/600)
[Sat Feb 27 00:01:45 2016] [notice] mpmstats: rdy 5 bsy 595 rd 2 wr 3 ka 590 log 0 dns 0 cls 0
[Sat Feb 27 00:01:59 2016] [notice] mpmstats: bsy: 1 in mod_cgid.c
[Sat Feb 27 00:03:25 2016] [error] [client xxx.xx.xx.xxx] File does not exist: /app/data/ico.jpg
[Sat Feb 27 00:09:01 2016] [error] [client xxx.xx.xx.xxx] File does not exist: /app/data/ico.jpg
[Sat Feb 27 00:00:15 2016] [error] [client xxx.xx.xx.xxx] File does not exist: /app/data/ico.jpg
[Sat Feb 27 00:00:59 2016] [error] [client xxx.xx.xx.xxx] File does not exist: /app/data/ico.jpg
[Sat Feb 27 00:01:33 2016] [notice] mpmstats: approaching MaxClients (595/600)
[Sat Feb 27 00:01:45 2016] [notice] mpmstats: rdy 5 bsy 596 rd 2 wr 3 ka 590 log 0 dns 0 cls 0
[Sat Feb 27 00:01:59 2016] [notice] mpmstats: bsy: 1 in mod_cgid.c
[Sat Feb 27 00:03:25 2016] [error] [client xxx.xx.xx.xxx] File does not exist: /app/data/ico.jpg
[Sat Feb 27 00:09:01 2016] [error] [client xxx.xx.xx.xxx] File does not exist: /app/data/ico.jpg
[Sat Feb 27 00:00:15 2016] [error] [client xxx.xx.xx.xxx] File does not exist: /app/data/ico.jpg
[Sat Feb 27 00:00:59 2016] [error] [client xxx.xx.xx.xxx] File does not exist: /app/data/ico.jpg
[Sat Feb 27 00:01:33 2016] [notice] mpmstats: approaching MaxClients (595/600)
[Sat Feb 27 00:01:45 2016] [notice] mpmstats: rdy 5 bsy 597 rd 2 wr 3 ka 590 log 0 dns 0 cls 0
[Sat Feb 27 00:01:59 2016] [notice] mpmstats: bsy: 1 in mod_cgid.c
[Sat Feb 27 00:03:25 2016] [error] [client xxx.xx.xx.xxx] File does not exist: /app/data/ico.jpg
[Sat Feb 27 00:09:01 2016] [error] [client xxx.xx.xx.xxx] File does not exist: /app/data/ico.jpg

Avec awk, on filtre la bonne ligne et on récupère le champ de la ligne qui nous intéresse.

Code:

1
2
3
4
$ awk '/\<notice\>/&&/\<rdy\>/&&/\<bsy\>/{print $11;}' htpp.dat 
595
596
597

Si les < et > t'agacent, tu peux les enlever. Ils indiquent "début de mot" et "fin de mot". C'est plus lourd mais plus précis.

Code:

1
2
3
4
$ awk '/notice/&&/rdy/&&/bsy/{print $11;}' htpp.dat 
595
596
597

28/02/2016, 03h51
BufferBob

salut,

et pour la partie qui précède, je me permets de te proposer logtail

Citation:

logtail reads a specified file (usually a log file) and writes to the standard output that part of it which has not been read by previous runs of logtail

là normalement t'as ton script en 1 ligne avec tout ça :mouarf:
28/02/2016, 13h59
fabio1978

Bonjour,

Tout d'abord un grand merci pour vos retours.

@Flodelarab :
désolé pour ma description et tu as effectivement pleinement répondu à mon besoin.
Juste pour ma curiosité, a-t'on la possibilité (via une boucle par exemple) de commencer la lecture du fichier par la fin, de passer la commande que tu as précisé afin d'extraire le nombre de connexion et de sortir de la boucle sans continuer à la première occurence trouvé ?

@BufferBob :
Je ne connaissais pas cette commande et vais l'étudier plus précisément car elle pourrait parfaitement répondre à d'autres besoins(=> le user utilisé pour ce script ne dispose malheureusement pas de droits d'écriture)
28/02/2016, 20h12
Flodelarab
- cat affiche un fichier à l'endroit. tac affiche un fichier à l'envers.
- Pour sortir à la première occurrence, il suffit d'utiliser la fonction exit:
  Code:
  
  1 2 3 4 $ awk '/\<notice\>/&&/\<rdy\>/&&/\<bsy\>/{print $11;exit;}' htpp.dat 595 $ tac htpp.dat | awk '/\<notice\>/&&/\<rdy\>/&&/\<bsy\>/{print $11;exit;}' 597
- awk est déjà une boucle. Donc on peut parcourir à l'endroit sans autre outil, grâce à la clause END post-boucles.
  Code:
  
  1 2 $ awk '/\<notice\>/&&/\<rdy\>/&&/\<bsy\>/{v=$11;} END{print v;}' htpp.dat 597
- Citation:
  
  le user utilisé pour ce script ne dispose malheureusement pas de droits d'écriture
  
  Mais pourquoi voudrais-tu les droits en écriture ? Si c'est à cause de l'expression "writes to the standard output", prends bien en compte que la plupart du temps tu écris sur la sortie standard quand tu écris à l'écran... :ccool:
29/02/2016, 07h02
fabio1978

Merci pour ces nouvelles précisions qui correspondent tout à fait à mes attentes.

Je mets le sujet en résolu.