parser des logs

**clancy182** · 29/08/2006, 23h44

Hello,

J'ai un petit soucis avec des logs que je dois parser.
J'ai pour habitud d'utiliser awk ou perl pour faire cette tache mais la je ne m'en sors pas...
normalement je lis le fichier ligne par ligne et j'extrai les champs qui m'interessent, mais cette fois ci, une connexion prend deux lignes.
par contre , il y'a un champ id qui permet d'identifier les lignes qui representes la meme connexion.

exemple:

id=1 etat=debut champ2=x champ3=x champ4=x //debut connexion
id=2 etat=debut champ2=x champ3=x champ4=x
id=3 etat=debut champ2=x champ3=x champ4=x
id=1 etat=fin champ6=x champ7=x champ8=x //fin connexion
id=4 etat=debut champ2=x champ3=x champ4=x
id=2 etat=fin champ6=x champ7=x champ8=x
id=3 etat=fin champ6=x champ7=x champ8=x
id=4 etat=fin champ6=x champ7=x champ8=x
.....

donc en gros, il y'a 2 enregistrements, un pour le debut avec des champs à recuperer, et un pour la fin avec des champs à recuperer, et ces deux lignes on le meme id.

Comment obtenir un dans un fichier resultat tous les champs sur une meme ligne pour chaque connexion:

id=1 champ2=x champ3=x champ4=x champ6=x champ7=x champ8=x
id=2 champ2=x champ3=x champ4=x champ6=x champ7=x champ8=x
id=3 champ2=x champ3=x champ4=x champ6=x champ7=x champ8=x
id=4 champ2=x champ3=x champ4=x champ6=x champ7=x champ8=x

sachant qu'il peut y avoir 5 000 000 de lignes dans le fichier, donc a priori c'est delicat d'utiliser des tableaux de memoire , nan ?
merci d'avance

**tiboo** · 30/08/2006, 00h51

salut,

il est pas possible de concatener tes champs dans une table de hachage en PERL?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
 
foreach $ligne (@fichier)
{ 
    ##Extraction de l'id
     if ($ligne =~ /ID=(\w+)/i){
          $id=$1;
          }
    ##Extraction des champs
     $champs = $ligne;
     $champs =~ s/ID=$id//;
 
     if (defined $table{$id}){
              $table{$id} .= $champs;
        }
     else{
              $table{$id} = $champs;
        }
}

Je ferai qqchose comme ça . Je sais pas si tu te sers de l'etat debut /fin. Est important l'ordre des champs??
voila

**clancy182** · 30/08/2006, 09h42

oui l'ordre est important , mais le fait d'utiliser un tableau pour stocker les valeurs des champs, si j'ai 1 000 000 de connexions, j'aurai pas un gros pb de mémoire ?

merci pour ta réponse

**Jedai** · 30/08/2006, 10h10

Tout dépend de la répartition de tes connexions, et la solution que je vais te proposer ne marcheras pas si tes débuts de connexions se font en bloc avant toutes les fins de connexions, mais tu peux te contenter de ne maintenir en mémoire que les connexions dont tu as rencontré le début mais pas la fin, quitte à trier plus tard selon l'id si c'est important pour toi.

--
Jedaï