parser des logs

Version imprimable

29/08/2006, 23h44
clancy182

parser des logs

Hello,

J'ai un petit soucis avec des logs que je dois parser.
J'ai pour habitud d'utiliser awk ou perl pour faire cette tache mais la je ne m'en sors pas...
normalement je lis le fichier ligne par ligne et j'extrai les champs qui m'interessent, mais cette fois ci, une connexion prend deux lignes.
par contre , il y'a un champ id qui permet d'identifier les lignes qui representes la meme connexion.

exemple:

id=1 etat=debut champ2=x champ3=x champ4=x //debut connexion
id=2 etat=debut champ2=x champ3=x champ4=x
id=3 etat=debut champ2=x champ3=x champ4=x
id=1 etat=fin champ6=x champ7=x champ8=x //fin connexion
id=4 etat=debut champ2=x champ3=x champ4=x
id=2 etat=fin champ6=x champ7=x champ8=x
id=3 etat=fin champ6=x champ7=x champ8=x
id=4 etat=fin champ6=x champ7=x champ8=x
.....

donc en gros, il y'a 2 enregistrements, un pour le debut avec des champs à recuperer, et un pour la fin avec des champs à recuperer, et ces deux lignes on le meme id.

Comment obtenir un dans un fichier resultat tous les champs sur une meme ligne pour chaque connexion:

id=1 champ2=x champ3=x champ4=x champ6=x champ7=x champ8=x
id=2 champ2=x champ3=x champ4=x champ6=x champ7=x champ8=x
id=3 champ2=x champ3=x champ4=x champ6=x champ7=x champ8=x
id=4 champ2=x champ3=x champ4=x champ6=x champ7=x champ8=x

sachant qu'il peut y avoir 5 000 000 de lignes dans le fichier, donc a priori c'est delicat d'utiliser des tableaux de memoire , nan ?
merci d'avance

salut,

il est pas possible de concatener tes champs dans une table de hachage en PERL?

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
 
foreach $ligne (@fichier)
{ 
    ##Extraction de l'id
     if ($ligne =~ /ID=(\w+)/i){
          $id=$1;
          }
    ##Extraction des champs
     $champs = $ligne;
     $champs =~ s/ID=$id//;
 
     if (defined $table{$id}){
              $table{$id} .= $champs;
        }
     else{
              $table{$id} = $champs;
        }
}

Je ferai qqchose comme ça . Je sais pas si tu te sers de l'etat debut /fin. Est important l'ordre des champs??
voila

30/08/2006, 09h42
clancy182

oui l'ordre est important , mais le fait d'utiliser un tableau pour stocker les valeurs des champs, si j'ai 1 000 000 de connexions, j'aurai pas un gros pb de mémoire ?

merci pour ta réponse
30/08/2006, 10h10
Jedai

Tout dépend de la répartition de tes connexions, et la solution que je vais te proposer ne marcheras pas si tes débuts de connexions se font en bloc avant toutes les fins de connexions, mais tu peux te contenter de ne maintenir en mémoire que les connexions dont tu as rencontré le début mais pas la fin, quitte à trier plus tard selon l'id si c'est important pour toi.

--
Jedaï
30/08/2006, 11h14
clancy182

propose toujours peut etre que je trouverai une partie interessante à exploiter :)
peux tu me dire comment faire pour enlever une entrée dans un tableau (pour ne garder en memoire que les connexions encore 'active')
30/08/2006, 15h55
Jedai

Citation:

Envoyé par clancy182

propose toujours peut etre que je trouverai une partie interessante à exploiter :)
peux tu me dire comment faire pour enlever une entrée dans un tableau (pour ne garder en memoire que les connexions encore 'active')

Il faut utiliser un hash plutôt qu'un tableau, et supprimer les valeurs en trop avec delete().

--
Jedaï