Pousser le résultat d'un grep dans un tableau

Bonjour à tous,
je dispose d'un fichier de log, ce fichier n'etant pas forcement agreable à lire je voulais utiliser des expressions reguliere et autre pour le rendre plus lisible

Example de log:

Citation:

---

Apr 20 11:57:16 radius-XX IN=tun0 OUT=eth1 MAC= SRC=10.10.4.200 DST=216.58.208.206 LEN=52 TOS=00 PREC=0x00 TTL=63 ID=30205 DF PROTO=TCP SPT=40631 DPT=443 SEQ=3881349976 ACK=3943191030 WINDOW=260 ACK URGP=0

---

Donc j'aimerai pouvoir récupérer l'adresse ip source, dest et la date, j'ai donc fait comme ceci

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

#Recuperation ip src src=$(cat fichier.txt | awk '{print $8}')   #Recuperation ip dest dest=$(cat fichier.txt | awk '{print $9}')         #echo $dest echo "Ip sources" echo $src | grep -o '[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}'   echo "Ip Dest" echo $dest | grep -o '[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}'

---

Ce qui me retourne

Citation:

---

Ip sources
10.10.4.200
10.10.4.200
10.10.4.200
10.10.4.200
10.10.4.200
10.10.4.200

Ip Dest
216.58.208.197
216.58.208.197
216.58.208.197
216.58.208.197
216.58.208.197
216.58.208.197

---

J'aimerais donc faire correspondre chaque une de ces adresses entre elles (exemple 10.10.4.200 --> 216.58.208.197), donc j'avais pensé enregistrer le resultat de chaque grep dans un tableau puis de faire correspondre chaque une de ces case, mais je ne sais pas comment je pourrais le faire, donc si quelqu'un peut m'aider ?

salut,

ta ligne de log, elle est immense sur une seule ligne ? ou elle a des retour à la ligne ?

car si elle est que sur une ligne, tu peux lire ton fichier ligne à ligne et parser chaque adresse à chaque ligne et les mettre dans un nouveau fichier, genre séparé par des tab ou point virgule...

ou alors, tu as awk qui peut te faire ca d'un coup... mais je suis pas assez doué pour te le faire, désolé :(

C'est une immense ligne, donc ta solution m’intéresse bstevy tu pourrais détailler un peu comment tu fais pour traiter chaque ligne ?

Ca doit donner un truc a peu pres comme ca

Code:

---

1 2 3 4 5 6 7 8

for cur_file in TonFichierDeLog   src=$(echo $curfile | awk '{print $8}') dest=$(echo $curfile | awk '{print $9}')   echo ${src};${dest}   done

---

a mon avis, faut retoucher deux trois endroits, mais dans l'idée, c'est ca. Ca te parle ? ou y'a des trucs que tu comprends pas ?

Pour manipuler un fichier texte, le conseil est d'utiliser grep, sed, awk, etc et pas un script dans lequel on mettrait un bout de ligne dans un tableau.

Voici 2 propositions (juste pour s'inspirer):

Code:

---

1 2 3 4 5 6

$ cat /tmp/ipsrc.txt Apr 20 11:57:16 radius-XX IN=tun0 OUT=eth1 MAC= SRC=10.10.4.200 DST=216.58.208.206 LEN=52 TOS=00 PREC=0x00 TTL=63 ID=30205 DF PROTO=TCP SPT=40631 DPT=443 SEQ=3881349976 ACK=3943191030 WINDOW=260 ACK URGP=0 $ sed 's/.* SRC=\(.*\) DST=.*/\1/' /tmp/ipsrc.txt 10.10.4.200 $ awk -F'[ =]' '{print $13;}' /tmp/ipsrc.txt 10.10.4.200

---

[edit]
Et par conséquent: (j'ai enlevé le premier espace, d'où le décalage des champs)

Code:

---

1 2	$ awk -F'[ =]' '{print $12,$14,$1,$2,$3;}' /tmp/ipsrc.txt 10.10.4.200 216.58.208.206 Apr 20 11:57:16

---

[/edit]

on voit ceux qui ont l'habitude d'utiliser awk ;)

bien joué !
Moi, je suis pas capable encore de pondre ce genre de truc, je m'entraine pas assez ^^

Merci pour vos reponses,
du coup j'ai plutôt suivis la méthode de flodelarab

Code:

---

1 2 3 4 5 6

cat fichier.txt | while read ligne do echo $ligne | awk -F'[ =]' '{print $12,$14,$1,$2,$3;}' >> /home/jeremy/fichierlog     done

---

Cela fonctionne parfaitement, merci,
question subsidiaire c'est avec le '[ =]' que tu coupe le premier espace ?

Bonjour,
Juste pour le fun, une version sed:

Code:

---

1 2 3 4

$ cat llo.txt Apr 20 11:57:16 radius-XX IN=tun0 OUT=eth1 MAC= SRC=10.10.4.200 DST=216.58.208.206 LEN=52 TOS=00 PREC=0x00 TTL=63 ID=30205 DF PROTO=TCP SPT=40631 DPT=443 SEQ=3881349976 ACK=3943191030 WINDOW=260 ACK URGP=0 $ sed -e 's/\(\([^ ]* \)\{3\}\).*SRC=\([^ ]* \).*DST=\([^ ]* \).*/\1;\3;\4/;s/ ;/;/g' llo.txt Apr 20 11:57:16;10.10.4.200;216.58.208.206

---

• Le -F précise le séparateur. Avec les crochets, je dis que ce n'est pas un séparateur mais une liste de séparateurs. Et je définis l'espace et le égal. Comme ça je peux avoir le titre et la valeur.
• L'espace au début est dû à un copier/coller à l'arrache. Mais du coup, le premier champ est entre le début de ligne et l'espace. D'où le décalage de champ quand on supprime l'espace
• Pas la peine de faire une boucle sur les lignes. awk travaille ligne par ligne. Tu prends une liste (ton log) et il te rends une liste (tes ips & date). Pour faire un genre de csv réutilisable facilement avec awk, je conseille de mettre un séparateur (comme le point-virgule) entre les champs.
  
  Code:

  ---

  awk 'lescript' fichierentree.txt >fichiersortie.txt

  ---

  ou
  
  Code:

  ---

  awk 'lescript' fichierentree.txt |tee fichiersortie.txt

  ---

Merci pour ces précisions ;)

Citation:

---

Envoyé par baffreux

du coup j'ai plutôt suivis la méthode de flodelarab

Code:

---

1 2 3 4

cat fichier.txt | while read ligne do echo $ligne | awk -F'[ =]' '{print $12,$14,$1,$2,$3;}' >> /home/jeremy/fichierlog done

---

Cela fonctionne parfaitement, merci,

---

Je suis surpris que personne n'ait réagi (sinon en moinssant!).

Il est très coûteux de lire le fichier ligne à ligne et d'appeler un nouveau processus awk sur chaque ligne!

Awk sait très bien lire le fichier ligne à ligne... comme l'a proposé Flodelarab!

Pourquoi ne pas garder sa proposition telle quelle? ça ne marche pas chez toi?

Code:

---

awk -F'[ =]' '{print $12,$14,$1,$2,$3;}' fichier.txt > /home/jeremy/fichierlog

---

[MAUVAISE_FOIS] Dans son code, on voit des lignes vides dans sa boucle, on suppose donc qu'il fait d'autres choses qu'il ne veut pas nous dire[/MAUVAISE_FOIS] :dehors::ptdr:

[ironie]Oui, il voulait utiliser des variables bash pour calculer la moyenne des TTL[/ironie]

:mouarf3: