Analyser un fichier log

Version imprimable

27/03/2012, 05h24
hichamyousfi

Analyser un fichier log

slt tout le monde, je veux faites un script en PERL qui demande le nom d’un fichier de log du programme tcpd à traiter. Le format de ce log est une entrée par ligne, dans ce format :

Mar 17 01:21:35 beta.CRM.Montreal.CA in.ftpd[13331]: connect from 63.196.54.11
Mar 17 01:21:35 theta.CRM.Montreal.CA in.ftpd[27801]: connect from 63.196.54.11
Mar 17 01:21:35 truffaut.CRM.Montreal.CA in.ftpd[18652]: connect from 63.196.54.11

le programme doit lire le fichier de log et analyser chaque ligne pour trouver des balayages
(“scans”) potentiels, en supposant que plus de 5 demandes provenant de la même adresse dans la même minute est un balayage potentiel. Quand votre programme trouve un balayage potentiel, il envoie immédiatement un courrier électronique à une
adresse courriel, avec comme information l’heure et l’adresse du balayage. Pour
envoyer le courrier électronique, on doit faire un appel à sendmail .
le programme devra à la fin donner les statistiques suivantes :
a) L’adresse source qu’on retrouve le plus souvent dans le fichier analysé
b)
1) le nombre total de connexions acceptées
2) le nombre total de connexions refusées
3) le nombre de demandes de connexions (acceptées et refusées) pour chacun des démons suivants : ftpd telnetd rpcbind imap pop

merci bcp pour votre aide

Pour détecter les scans, une méthode parmi d'autres est de remplir une table de hashage avec pour clé, la concaténation de l'adresse IP et de la date (séparé par exemple, par un /), et pour valeur, un compteur qu'on incrémente. Un scan est alors détecter pour toutes les clés de ce hash pour lesquels la valeur correspondante est supérieure à 5.

Une idée d'implémentation :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 open ... my %scan; while(my $line = <$LOG>) { my ($date, $ip) = extract_date_ip($line); $scan{"$ip/$date"}++; ... } ... foreach my $scan (grep $scan{$_} > 5, keys %scan) { send_a_mail($scan); } ...
Pour le reste, c'est du simple comptage, dont de toute manière, nous ne connaissons pas tous les éléments du log pour répondre.

27/03/2012, 17h32
hichamyousfi

perl

Merci pour ta reponse
le log est un fichier de log du programme tcpd à traiter. Le format de ce log est une entrée par ligne, dans ce format :
Mois heure adresse-visée service: état from adresse-source commentaire-optionnel
Mois est dans format Mmm
Heure est toujours dans format HH:MM:SS (format 24 heures)
État peut être connect ou refused connect
Service est une suite de caractès sans espace, lettre+chiffres+caractères-spéciaux
Par exemple voici des entrées du fichier :
Mar 15 00:24:45 zeta.CRM.UMontreal.CA in.ftpd[28209]: connect from omega.CRM.UMontreal.CA
Mar 15 00:26:11 poincare.CRM.UMontreal.CA rpcbind: refused connect from 64.26.80.177 to dump()
Mar 17 01:21:35 beta.CRM.UMontreal.CA in.ftpd[13331]: connect from 63.196.54.11
Mar 17 01:21:35 theta.CRM.UMontreal.CA in.ftpd[27801]: connect from 63.196.54.11
Mar 17 01:21:35 truffaut.CRM.UMontreal.CA in.ftpd[18652]: connect from 63.196.54.11
Mar 17 12:52:17 omega.CRM.UMontreal.CA in.ftpd[15959]: connect from HSE-Montreal-ppp127.qc.sympatico.ca
Mar 17 12:19:47 omega.CRM.UMontreal.CA in.telnetd[19531]: connect from fitzpbe.math.auburn.edu

merci beaucoup pour votre aide
28/03/2012, 10h11
Philou67430

Avec mes premières indications, tu devrais pouvoir progresser dans l'écriture de ton script. As-tu un début de script à fournir ? Des questions plus précises sur ce que tu ne sais pas faire ?

Merci de votre réponse, j ai ecrit ce script pour compter les connexions acceptées et les connexions refusées dans un fichier log , mais il ne fonctione pas. Aidez moi SVP :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
#!/usr/bin/perl
#
# 
#
use strict;
use warnings;
 
#print ("nom de fichier:"); 
#my $rep=<STDIN>; 
#chomp $rep;
#ouvrir fichier en lecture
open Fich,'< log.txt' or die "Le fichier n'existe pas !";
 
while (my $ligne = <Fich>) {
 
    # découpe une ligne en champs
    my @mots=split / /, $ligne;
    my $co = 'connect';
    my $re = 'refused';
    my $j = 0;
    my $k =0;
    for (my $i=0;$i<=$#mots;$i++){
       if (grep(/^$re$/, @mots)) {
           $j++;
       }elsif (grep(/^$co$/, @mots)){
           $k++;
       }
 
    }       
      print ($j);
      print ($k);
}
close Fich;

29/03/2012, 09h35
Philou67430

Merci de mettre les balises autour du code (icône http://www.developpez.net/forums/images/editor/code.gif).

Salut,

plutôt que de faire un split sur tous les champ de ta ligne essaye plutôt ça :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 while (my $ligne = <Fich>) { # découpe une ligne en champs my $j = 0; my $k =0; if ($ligne =~ m/connect/){ $j++; }elsif ($ligne =~ m/refused/){ $k++; } print ($j); print ($k); }
dis moi ce que tu obtiens avec ça.

/Rémi

16/04/2012, 14h00
Philou67430

Attention peps16, il faut initialiser $j et $k en dehors de la boucle 8O
17/04/2012, 09h46
Peps16

Citation:

Envoyé par Philou67430

Attention peps16, il faut initialiser $j et $k en dehors de la boucle 8O

voila pourquoi ça ne marche pas...j'avais pas vu avec l'éditeur