Remplacer une colonne dans un fichier texte en utilisant bash

Version imprimable

Bonjour
j'ai un fichier log comme suit
log.txt

Code:

1
2
3
4
5
6
[1614005098.68832942] Packet from adress-ip for mail.google.com. A with id 35813
[1614005098.69140427] Packet from adress-ip for mail.google.com. AAAA with id 37977
[1614005098.120580563] Packet from adress-ip for 15.27.226.41.in-addr.arpa. PTR with id 20819
[1614005098.121961010] Packet from adress-ip for 18.173.111.176.in-addr.arpa. PTR with id 14802
[1614005099.225108596] Packet from adress-ip for browser.pipe.aria.microsoft.com. A with id 43977
[1614005099.242380560] Packet from adress-ip for browser.pipe.aria.microsoft.com. AAAA with id 45881

Je veux remplacer la colonne 1 (date en format timestamp) par une date du format Mon Feb 22 15:44:49 CET 2021
j'ai essayé ce script ( certainement il est loin d'être parfait)

Code:

1
2
3
4
5
6
7
8
 
tr -d '[,]' < log.txt >> kilo.txt
 cut -d ' ' -f 1 kilo.txt >> log1.txt
 filename='log1.txt'
 function fctdate() { date -d "@$1"; }
 while read p; do
 fctdate $p
 done < $filename >> logfinal.txt

il me reste que remplacer la colonne1 (timestamp) dans log.txt par la colonne1 (date avec nouvelle format) de logfinal.txt

une idée svp ?
cordialement

22/02/2021, 17h08
N_BaH

Bonjour,

mais que c'est laid !
ça devrait être fait tout de suite dans la boucle while :

Code:

while read d reste; do d=${d//[][]/}; echo "[$(date -d @"$d")] $reste"; done <fic.in >fic.out

et c'est tout.
22/02/2021, 17h45
Flodelarab

Bonjour :coucou:

Existe-t-il vraiment un format de date qui mette la zone horaire entre l'heure et l'année ? :fou:

Citation:

Envoyé par N_BaH

et c'est tout.

Nan ! :P :P :P

J'ai testé avec dmesg dont j'ai envoyé la sortie dans un bête fichier texte, et ça se passe mal avec l'extraction de la date entre les crochets (que tu devrais expliquer parce que là, c'est vraiment hermétique).

Voilà ce que j'obtiens avec d'abord la fin du fichier
Code:

1 2 3 4 5 6 # tail -n 5 dmsg.txt [ 17.286011] vboxdrv: fAsync=0 offMin=0x29a offMax=0xe46 [ 17.286066] vboxdrv: TSC mode is 'synchronous', kernel timer mode is 'normal'. [ 17.286069] vboxdrv: Successfully loaded version 4.2.8 (interface 0x001a0004). [ 17.982711] vboxpci: IOMMU not found (not registered) [ 168.721213] device eth0 entered promiscuous mode
et ensuite le fichier passé à ta ligne :
Code:

1 2 3 4 5 6 7 8 9 10 11 # while read d reste; do d=${d//[][]/}; echo "[$(date +"%x %X" -d @"$d")] $reste"; done < dmsg-short.txt date: date non valide «*@*» [] 17.286011] vboxdrv: fAsync=0 offMin=0x29a offMax=0xe46 date: date non valide «*@*» [] 17.286066] vboxdrv: TSC mode is 'synchronous', kernel timer mode is 'normal'. date: date non valide «*@*» [] 17.286069] vboxdrv: Successfully loaded version 4.2.8 (interface 0x001a0004). date: date non valide «*@*» [] 17.982711] vboxpci: IOMMU not found (not registered) date: date non valide «*@*» [] 168.721213] device eth0 entered promiscuous mode
(ligne que j'ai un poil modifiée au niveau du format, trouvant l'option de base trop longue à lire)

On dirait bien qu'il y a un sac de nœuds avec les espaces après le crochet ouvrant, :aie:

22/02/2021, 18h23
samirahal

Citation:

Envoyé par N_BaH

Bonjour,

mais que c'est laid !
ça devrait être fait tout de suite dans la boucle while :

Code:

while read d reste; do d=${d//[][]/}; echo "[$(date -d @"$d")] $reste"; done <fic.in >fic.out

et c'est tout.

Merci beaucoup !!!:D

Citation:

Envoyé par Jipété

On dirait bien qu'il y a un sac de nœuds avec les espaces après le crochet ouvrant, :aie:

Confirmé :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
$ while read d reste; do d=${d//[][]/}; echo $d $reste; done < dmsg-short.txt 
17.286011] vboxdrv: fAsync=0 offMin=0x29a offMax=0xe46
17.286066] vboxdrv: TSC mode is 'synchronous', kernel timer mode is 'normal'.
17.286069] vboxdrv: Successfully loaded version 4.2.8 (interface 0x001a0004).
17.982711] vboxpci: IOMMU not found (not registered)
168.721213] device eth0 entered promiscuous mode
$ while read d reste; do d=${d//[][]/}; echo $d $reste; done < log.txt 
1614005098.68832942 Packet from adress-ip for mail.google.com. A with id 35813
1614005098.69140427 Packet from adress-ip for mail.google.com. AAAA with id 37977
1614005098.120580563 Packet from adress-ip for 15.27.226.41.in-addr.arpa. PTR with id 20819
1614005098.121961010 Packet from adress-ip for 18.173.111.176.in-addr.arpa. PTR with id 14802
1614005099.225108596 Packet from adress-ip for browser.pipe.aria.microsoft.com. A with id 43977

Citation:

Envoyé par Jipété

On dirait bien qu'il y a un sac de nœuds avec les espaces après le crochet ouvrant

parce qu'il y a des espaces. alors, le premier champ (d) est uniquement le crochet ouvrant.
on peut définir le crochet fermant en tant que séparateur de champ... ça implique d'autres manips, c'est pas la cata, mais ça ne correspondrait peut-être plus au cas de samirahal. :koi:

tu es sur quelle distribution ?

EDIT :

Code:

1
2
3
4
5
# dmesg -T
[lun. févr. 22 18:26:47 2021] ata1: link is slow to respond, please be patient (ready=0)                                                                                                                                                       
[lun. févr. 22 18:26:49 2021] e1000e 0000:00:19.0 enp0s25: NIC Link is Up 1000 Mbps Full Duplex, Flow Control: Rx/Tx                                                                                                                           
[lun. févr. 22 18:26:52 2021] ata1: SATA link up 3.0 Gbps (SStatus 123 SControl 300)                                                                                                                                                           
[lun. févr. 22 18:26:52 2021] ata1.00: configured for UDMA/133

Citation:

Envoyé par N_BaH

... ça ne correspondrait peut-être plus au cas de samirahal. :koi:

Certes, mais j'avais pensé que ça pourrait être utile à d'autres.

Citation:

Envoyé par N_BaH

tu es sur quelle distribution ?

Debian.

Et il suffit d'en parler pour que tu apportes la solution sur un plateau :

Citation:

Envoyé par N_BaH

EDIT :

Code:

1
2
3
4
5
# dmesg -T
[lun. févr. 22 18:26:47 2021] ata1: link is slow to respond, please be patient (ready=0)                                                                                                                                                       
[lun. févr. 22 18:26:49 2021] e1000e 0000:00:19.0 enp0s25: NIC Link is Up 1000 Mbps Full Duplex, Flow Control: Rx/Tx                                                                                                                           
[lun. févr. 22 18:26:52 2021] ata1: SATA link up 3.0 Gbps (SStatus 123 SControl 300)                                                                                                                                                           
[lun. févr. 22 18:26:52 2021] ata1.00: configured for UDMA/133

Bien joué !
Et merci, :coucou:

22/02/2021, 19h05
Flodelarab

Code:

sed 's/\[ *$[0-9.]\+$ *\]$.*$/echo -n "[ ";date -d @"\1";echo " \]\2"/e;s/\n//'
22/02/2021, 19h53
disedorgue

Citation:

Envoyé par N_BaH

Bonjour,

mais que c'est laid !
ça devrait être fait tout de suite dans la boucle while :

Code:

while read d reste; do d=${d//[][]/}; echo "[$(date -d @"$d")] $reste"; done <fic.in >fic.out

et c'est tout.

Juste comme ça, ici, le echo est inutile, autant utiliser date pour le faire:

Code:

while IFS=']' read d reste ; do date -d @"${d//[][]/}" +"[%c] ${reste//%/%%}"; done <fic.in >fic.out
22/02/2021, 20h06
Flodelarab

Oui. Tu as bien raison.

Code:

sed 's/\[ *$[0-9.]\+$ *\]$.*$/date -d @"\1" +"[ %c ]\2"/e'
22/02/2021, 20h22
disedorgue

Faudrait juste que tu protèges les possibles % qu'il pourrait y avoir dans le log (voir le traitement que je fais sur la variable reste )