Problème d'extraction de données dans log

Version imprimable

Bonjour à tous !!

J'ai un problème d'extraction de données, j'aimerai pouvoir repérer les adresses MAC qui s'identifient en double sur 2 switches différents (les 2 dernières lignes dans l'extrait du log). On peut commencer par faire un tri par rapport à l'adresse MAC, enlever les doublons, mais ensuite je bloque :cry:

Voici un extrait:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
 
Mon Nov *3 20:20:59 2008 : Error: WARNING: Malformed RADIUS packet from host 127.0.0.1: too short (received 1 < Batnimum 20)
Mon Nov *3 20:21:00 2008 : Auth: Login OK: [001e68-7284bd/<CHAP-Password>] (from client SwitchR5-1 port 20 cli 00-1e-68-72-84-bd)
Mon Nov *3 20:21:04 2008 : Auth: Login OK: [0016d4-f51efc/<CHAP-Password>] (from client SwitchBat-3 port 19 cli 00-16-d4-f5-1e-fc)
Mon Nov *3 20:21:05 2008 : Auth: Login OK: [001636-b106b6/<CHAP-Password>] (from client SwitchBat-3 port 10 cli 00-16-36-b1-06-b6)
Mon Nov *3 20:21:05 2008 : Auth: Login OK: [001d09-5474fb/<CHAP-Password>] (from client SwitchBat-1 port 37 cli 00-1d-09-54-74-fb)
Mon Nov *3 20:21:13 2008 : Auth: Login OK: [001b24-1b1c5d/<CHAP-Password>] (from client SwitchBat-3 port 15 cli 00-1b-24-1b-1c-5d)
Mon Nov *3 20:21:15 2008 : Auth: Login OK: [0013d4-858b4e/<CHAP-Password>] (from client SwitchBat-2 port 24 cli 00-13-d4-85-8b-4e)
Mon Nov *3 20:21:18 2008 : Error: WARNING: Malformed RADIUS packet from host 127.0.0.1: too short (received 1 < Batnimum 20)
Mon Nov *3 20:21:28 2008 : Auth: Login OK: [000d5e-b4d350/<CHAP-Password>] (from client SwitchR5-1 port 25 cli 00-0d-5e-b4-d3-50)
Mon Nov *3 20:21:29 2008 : Auth: Login OK: [00e04c-662205/<CHAP-Password>] (from client SwitchBat-1 port 25 cli 00-e0-4c-66-22-05)
Mon Nov *3 20:21:32 2008 : Auth: Login OK: [00c09f-c1bba0/<CHAP-Password>] (from client SwitchBat-3 port 46 cli 00-c0-9f-c1-bb-a0)
Mon Nov *3 20:21:32 2008 : Auth: Login OK: [001fc6-76372f/<CHAP-Password>] (from client SwitchR5-0 port 9 cli 00-1f-c6-76-37-2f)
Mon Nov *3 20:21:33 2008 : Auth: Login OK: [001a80-1e795e/<CHAP-Password>] (from client SwitchBat-2 port 36 cli 00-1a-80-1e-79-5e)
Mon Nov *3 20:21:37 2008 : Auth: Login OK: [001c7e-163eab/<CHAP-Password>] (from client SwitchBat-3 port 1 cli 00-1c-7e-16-3e-ab)
Mon Nov *3 20:21:37 2008 : Error: WARNING: Malformed RADIUS packet from host 127.0.0.1: too short (received 1 < Batnimum 20)
Mon Nov *3 20:21:39 2008 : Auth: Login OK: [001bfc-3ddfe3/<CHAP-Password>] (from client SwitchBat-0 port 48 cli 00-1b-fc-3d-df-e3)
Mon Nov *3 20:21:48 2008 : Auth: Login OK: [001b24-e8f4ca/<CHAP-Password>] (from client SwitchBat-2 port 29 cli 00-1b-24-e8-f4-ca)
Mon Nov *3 20:21:54 2008 : Auth: Login OK: [001b38-dd563e/<CHAP-Password>] (from client SwitchR5-1 port 7 cli 00-1b-38-dd-56-3e)
Mon Nov *3 20:21:56 2008 : Error: WARNING: Malformed RADIUS packet from host 127.0.0.1: too short (received 1 < Batnimum 20)
Mon Nov *3 20:22:01 2008 : Auth: Login OK: [0019b9-88709d/<CHAP-Password>] (from client SwitchBat-3 port 6 cli 00-19-b9-88-70-9d)
Mon Nov *3 20:22:01 2008 : Auth: Login OK: [0019b9-88709d/<CHAP-Password>] (from client SwitchR5-0 port 15 cli 00-19-b9-88-70-9d)

Vous avez une idée ?

Merci d'avance !
RedVivi

03/11/2008, 21h25
matafan

Tu peux faire comme tu dis, mais moi je ferais plutôt un petit script Perl qui créé un hash indexé par l'adresse mac. A chaque ligne tu teste si l'adresse est déjà dans le hash.
06/11/2008, 17h02
redvivi
Merci !
J'ai donc essayé cette commande:

Code:

grep -v "$(sort -k 2 logfile| uniq -1 -u)" logfile | sort -k 2

qui fonctionne très bien sur une liste comme:
Code:

1 2 3 4 5 6 mac1 aaa mac2 bbb mac2 aaa mac3 aaa mac4 ccc mac5 bbb
et affiche:
Code:

1 2 3 4 5 mac1 aaa mac2 aaa mac3 aaa mac2 bbb mac5 bbb
C'est donc ce que je recherche ! Mais quand je veux l'appliquer sur mon fichier de log voici ce que j'ai comme erreur:

Code:

-bash: /bin/grep: Liste d'arguments trop longue

Où est le souci ?
06/11/2008, 17h25
Sve@r
Citation:
Envoyé par redvivi

Merci !
J'ai donc essayé cette commande:

Code:

grep -v "$(sort -k 2 logfile| uniq -1 -u)" logfile | sort -k 2

qui fonctionne très bien sur une liste comme:

Code:

1 2 3 4 5 6 mac1 aaa mac2 bbb mac2 aaa mac3 aaa mac4 ccc mac5 bbb

et affiche:

Code:

1 2 3 4 5 mac1 aaa mac2 aaa mac3 aaa mac2 bbb mac5 bbb

C'est donc ce que je recherche ! Mais quand je veux l'appliquer sur mon fichier de log voici ce que j'ai comme erreur:

Code:

-bash: /bin/grep: Liste d'arguments trop longue

Où est le souci ?
Ben il te le dit. L'info que reçoit le grep (info générée par le sous-processus "(sort -k 2 logfile| uniq -1 -u)" est trop grosse et le grep ne peut pas la traiter

Tu peux utiliser l'option "-u" de sort qui remplace l'uniq. Tu gagnes un processus mais ça ne change rien au problème.

Ce qu'il faut, c'est faire une première liste de tes adresses (comme tu fais ici) mais faire traiter cette liste par le grep adresse par adresse. Comme ça, le grep ne traite qu'une info à la fois
Code:

1 2 3 4 5 #!/bin/sh sort -k 2 logfile| uniq -1 -u |while read adr do grep -v "$adr" logfile done |sort -k 2
06/11/2008, 17h38
redvivi

Ok merci !

Au oins le problème de la taille est résolu. Par contre j'en ai un autre maintenant: le script qui fonctionne très bien dans mon premier exemple aec une liste simpliste ne fonctionne pas avec les fichiers de log, on dirait que le tri ne se fait pas, si je change les paramètres du sort rien n'y fait :aie:
07/11/2008, 13h49
Sve@r

Citation:

Envoyé par redvivi

Par contre j'en ai un autre maintenant: le script qui fonctionne très bien dans mon premier exemple aec une liste simpliste ne fonctionne pas avec les fichiers de log, on dirait que le tri ne se fait pas, si je change les paramètres du sort rien n'y fait :aie:

Ben j'ai été étonné du "-k2" qui ne correspond pas, dans le fichier initial, à la position de l'adresse mac. Tu as fait un essai avec un fichier de test qui ne contenait que 2 colonnes => pas bon => t'aurais dû prendre un petit extrait de 5 ou 6 lignes du vrai fichier de log => t'aurais eu le bon format d'entrée.
Mais t'as un autre problème => ton fichier de log n'est pas formaté pareil sur chaque ligne. Parfois t'as des mots en plus, etc.

Donc faut te créer un fichier de travail bien formaté. A vue de nez, je pense que la commande suivante

Code:

grep "from" fichier_log |cut -c"(" -f2 |cut -c")" -f1

te donnera un fichier où chaque ligne sera sous la forme

Citation:

(from client SwitchBat-2 port 24 cli 00-13-d4-85-8b-4e)

Là, tu pourras bosser.