script sh analyse de logs

Version imprimable

29/08/2009, 10h50
Fabinounours

script sh analyse de logs

Bonjour,
Je cherche à faire un script qui analyserait des fichiers logs pour ne récupérer pour le moment que les lignes qui m'intéressent.

Ce sont des logs du type :
[1243769124] HOST ALERT: serveur2;UP;HARD;1;PING OK - Packet loss = 0%, RTA = 4.35 m
[1243769176] SERVICE ALERT: serveur2;CPU Load;OK;HARD;1;OK - load average: 0.00, 0.00, 0.00

Pour le moment, je cherche à récupérer les lignes qui se situent dans un intervalle de temps donné ainsi que le noms des serveurs correspondant aux noms présent dans un fichier.

J'ai réussi à faire celà en faisant une première commande qui me récupère le nom des serveurs et qui m'enregistre le résultat dans un fichier texte et ensuite en analysant le temps de ce nouveau fichier.

Cette solution n'est pas viable pour moi, car je peux avoir plus de 20Go de fichiers logs à parcourir. Cette méthode peut poser à terme un problème de place et de performances.
Il faudrait que je n'ai à parcourir mon fichier log qu'une seule fois.

J'ai fait pour filtrer le temps :
awk /temps de début/,/temps de fin/' chemin de mon fichier log (a terme ce sera un fichier contenant le nom de tous mes fichiers logs à analyser)

Pour filtrer par serveurs :
egrep `sed ':a;N;$!ba;s/\n/\|/g' /tmp/serveurs.txt` chemin de mon fichier log

Je n'arrive pas à trouver une solution pour faire les deux en une seule fois.

Quelqu'un aurait une idée ?
Je vous remercie.

Voilà ce que j'ai compris (évidemment je peux me tromper) :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
#!/bin/bash
 
#set -x
 
destLog="/chemin/fichier.out"
listServers=( $(sed ':a;N;$!ba;s/\n/\|/g' /tmp/serveurs.txt) )
 
for serveur in ${listServers[@]}
 do
   while read ligne
    do
      read champsDate nomServer <<< $(sed 's/^\[\([0-9]\{10\}\)].*: \([^;]*\);.*/\1 \2/' <<< "$ligne")
      if [ $champsDate -gt $dateMin -a $champsDate -lt $dateMax -a "$serveur" = "$nomserveur" ]
       then
         echo "$ligne" >> $destLog
      fi
   done < fichier.log
done

Bon, c'est du bash, ça risque de prendre des "plombes" sur 20Go de données, il faudrait pouvoir transposer, totalement, au moins en awk

Citation:

Envoyé par Fabinounours

Je n'arrive pas à trouver une solution pour faire les deux en une seule fois.

Le problème, c'est que tes 2 commandes (grep et awk) parsent chacune le fichier dans son intégralité (et en plus t'utilises egrep qui est le plus long des 3).

Si tu veux parser le fichier qu'une seule fois, faut le traiter à la main. N_Bah a donné une solution bash. Tu peux aller plus vite en Python
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 #!/usr/bin/env python # coding: Latin-1 -*- # Fonction qui analyse une ligne def is_good(ligne): travail d'analyse complet qui renvoie à la fin False ou True selon que la ligne corresponde ou pas # is_good() # Programme principal fp=open("chemin de mon fichier log", "r") for ligne in fp: if is_good(ligne): print ligne fp.close()
Si la solution te convient et que tu veux plus d'aide sur la fonction "is_good", je la complèterai (ou d'autres le feront)