Découpage chaine dans un script

**fdthierry** · 20/05/2010, 18h34

Bonjour,

J'ai un fichier avec sur chaque ligne une chaine structurée :
Thu Jul 3 15:48:25 2008 $RCS.......

Je lis le fichier par while read line
do
Ma séquence de découpage
Si l'année est égale à 2008
mon action
done < monfichier

Je souhaite récupérer :
Jour = Thu
Mois = Jul
Date = 3
Heure = 15:48:25
Annee = 2008

Par la suite, si l'année = 2008 mon action, mais je n'arrive pas à découper !
J'ai essayé avec split, awk, cut mais sans vraiment de succès

Si vous aviez quelques pistes, merci par avance.

**N_BaH** · 20/05/2010, 19h04

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

while read jour mois J heure annee reste

...

**fdthierry** · 20/05/2010, 21h14

Désolé mais je ne comprends pas trop ta réponse.

J'insère cela ou ?
C'est bien la séquence de découpage ?

J correspond à quoi ?

Merci pour ton aide

**N_BaH** · 20/05/2010, 21h56

bah...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
while read Jour Mois Date Heure Annee reste
do (( Annee == 2008 )) && action
done

As-tu quelque chose à faire avec toute la ligne ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
while IFS=' ' read line
do set -- $line
   (( $5 == 2008 )) && action
done

**fdthierry** · 21/05/2010, 10h50

Bonjour et merci pour ton aide,
j'ai procédé comme ça finalement :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
#!/bin/sh
while read line
do
	annee_jour=`date +%Y`
	annee_purge="`date +%Y --date \"-1 year\"`"
	annee=${line:20:4}
	exclusion="$RCS"
	if [[ $annee != $annee_jour && $annee != $exclusion && $annee < $annee_purge  ]]
		then echo "On analyse la date " $annee
	else
		echo "On garde cette ligne"
	fi
done < monfichier.log

Mais j'ai un soucis dans l'exclusion de $exclusion, il la traite tout de même !!

Ou est mon erreur ?

Le but de ce script est d'élaguer un fichier log qui ne cesse de gonfler sans rotate.
Sur chaque ligne, la date et heure.
Il faut que je purge de toutes les lignes qui date de plus de 365 jours.

Merci de ton aide

**fdthierry** · 21/05/2010, 10h58

J'ai trouvé mon erreur, $ est interprété comme shell il me faut mettre un \ devant.

**N_BaH** · 21/05/2010, 11h32

J'ai trouvé mon erreur, $ est interprété comme shell il me faut mettre un \ devant.

ou bien : exclusion='$RCS'
entre single-quotes.

annee_jour, annee_purge, et exclusion ne devraient pas être dans la commande while : elles n'ont pas à être redéfinies à chaque boucle.

**fdthierry** · 21/05/2010, 11h36

ah !!!
lol, c'est mon premier script bash

Mon analyse fonctionne mais je me heurte à un nouveau pb, si je match, je veux supprimer la ligne du fichier que je suis en train de lire !!!
Est ce possible sans faire de fichier temporaire ?

Sinon, je post un nouveau sujet.
Merci

**N_BaH** · 21/05/2010, 11h39

non, même sed utilise un fichier temporaire.

**exodev** · 21/05/2010, 13h32

Envoyé par N_BaH

non, même sed utilise un fichier temporaire.

Je pense qu'il veut parler de l'option d'éditer le fichier sur lequel il effectue les opérations avec l'option -i

**N_BaH** · 21/05/2010, 16h07

il?

même avec l'option -i, sed utilise un fichier temporaire.

**fdthierry** · 21/05/2010, 17h18

Bon, voilà mon code, il y a surement mieux lol:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
 
#!/bin/sh
# Initialisation du compteur
i=1
# Mon fichier log à traiter
log_file=monfichier.log
# Mon fichier temporaire pour traitement par sed
sed_file=sed_line.log
# Suppression de l'ancien fichier temporaire si il existe
rm $sed_file -f
# Lecture de mon fichier log
while read line
do
	# Définition de l'année en cours
	annee_jour=`date +%Y`
	# Définition du mois en cours
	mois_jour=`date +%b`
		# Conversion du mois en chiffre
        case $mois_jour in
                "janv.") mois_jour=1;;
                "fevr.") mois_jour=2;;
                "mars") mois_jour=3;;
                "avril") mois_jour=4;;
                "mai") mois_jour=5;;
                "juin") mois_jour=6;;
                "juil.") mois_jour=7;;
                "aout") mois_jour=8;;
                "sept.") mois_jour=9;;
                "oct.") mois_jour=10;;
                "nov.") mois_jour=11;;
		"dec.") mois_jour=12;;
        esac
	# Définition de l'année de purge (année en cours-1)
	annee_purge="`date +%Y --date \"-1 year\"`"
	# Définition du mois de purge (mois en cours-1)
	mois_purge="`date +%b --date \"-1 month\"`"
        case $mois_purge in
                "janv.") mois_purge=1;;
                "fevr.") mois_purge=2;;
                "mars") mois_purge=3;;
                "avril") mois_purge=4;;
                "mai") mois_purge=5;;
                "juin") mois_purge=6;;
                "juil.") mois_purge=7;;
                "aout") mois_purge=8;;
                "sept.") mois_purge=9;;
                "oct.") mois_purge=10;;
                "nov.") mois_purge=11;;
                "dec.") mois_purge=12;;
        esac
	# Récupération de l'année de la ligne lue
	annee_line=${line:20:4}
	# Récupération du mois de la ligne lue
	mois_line=${line:4:3}
        case $mois_line in
                "Jan") mois_line=1;;
                "Feb") mois_line=2;;
                "Mar") mois_line=3;;
                "Apr") mois_line=4;;
                "May") mois_line=5;;
                "Jun") mois_line=6;;
                "Jul") mois_line=7;;
                "Aug") mois_line=8;;
                "Sep") mois_line=9;;
                "Oct") mois_line=10;;
                "Nov") mois_line=11;;
		"Dec") mois_line=12;;
        esac
	# Exclusion si annee_line = cette valeur 
	exclusion='$RCS'
	# Test de la valeur annéee_line
	if [[ $annee_line != $annee_jour && $annee_line != $exclusion && $annee_line < $annee_purge  ]]
		then echo "On supprime la ligne " $i " => " $annee_line $mois_line
		# Ecriture du numéro de ligne dans le fichier temporaire
		echo $i>> $sed_file
	else
		if [[ $mois_line < $mois_purge ]]
					# Ecriture du numéro de ligne dans le fichier temporaire
	                then echo "On supprime la ligne " $i " => " $annee_line $mois_line
			echo $i>> $sed_file
		else
			echo "On garde cette ligne " $annee_line $mois_line
			break;
		fi
	fi
	i=$((i+1))
done < $log_file
 
# Ouverture du fichier temporaire pour suppression des lignes
while read line
do
	echo "Suppression ligne " $line
	 sed $line"d" -i $log_file
done < $sed_file

L'écriture des numéros de lignes à supprimer se fait bien dans le fichier temporaire.
Par contre, la suppression ne se fait pas complètement, il faut relancer plusieurs fois le script pour arriver au résultat escompter.

Merci pour votre avis.

**exodev** · 21/05/2010, 18h44

Envoyé par N_BaH

il?
même avec l'option -i, sed utilise un fichier temporaire.

"il" désignait fdthierry

et je sais que sed utilise un fichier temporaire lors de traitements, c'est juste que cette option permet d'éditer le fichier désigné de manière transparente au lieu de rediriger soi-même le flux dans un fichier temporaire puis de remplacer le fichier par celui temporaire (c'est ce que j'avais cru comprendre de sa question)

**N_BaH** · 21/05/2010, 19h23

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
#!/bin/sh
 
[ -f fichier_temp ] && rm -f fichier_temp
 
# Mon fichier log à traiter
log_file=monfichier.log
 
# Mon fichier temporaire pour traitement par sed
sed_file=sed_line.log
 
# Définition de l'année en cours
annee_jour=$(date +%Y)
 
# Définition du mois en cours
mois_jour=$(date +%b) mois_jour=${mois_jour#0}
 
# Définition de l'année de purge (année en cours-1)
annee_purge=$(date +%Y --date '-1 year') 
 
# Définition du mois de purge (mois en cours-1)
mois_purge=$(date +%b --date '-1 month') mois_purge=${mois_purge#0}
 
# Suppression de l'ancien fichier temporaire si il existe
[ -f $sed_file ] && rm -f $sed_file
 
#sauvegarde fichier.log
cp $log_file ${log_file}.bak
 
# Lecture de mon fichier log
while read line
do
   # Récupération de l'année de la ligne lue
   annee_line=${line:20:4}
   # Récupération du mois de la ligne lue
   mois_line=${line:4:3} mois_ligne=${mois_line#0}
   # Exclusion si annee_line = cette valeur 
   exclusion='$RCS'
   # Test de la valeur annéee_line
   if [[ $annee_line == $annee_jour && $annee_line == $exclusion ]] &&\
      (( annee_line >= annee_purge && mois_line >= mois_purge ))
   then echo "$line" >> fichier_temp
   fi
done < $log_file
 
cat fichier_temp > $log_file

ce n'est sans doute pas parfait (je n'ai pas fait de tests), mais l'idée générale est là : KISS

**fdthierry** · 22/05/2010, 18h21

Voici ce que le système me répond :

./test.sh: line 17: [*-f : commande introuvable
./test.sh: line 31: Erreur de syntaxe dans une expression conditionnelle
./test.sh: line 31: Erreur de syntaxe près de « $annee_purge »
./test.sh: line 31: ` if [[ $annee_line == $annee_jour && $annee_line == $exclusion && $annee_line >= $annee_purge && $mois_line >= $mois_purge ]]'

J'ai supprimé la première erreur par :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
if [ -f $sed_file ]; then
  rm -f $sed_file
fi

Supérieur ou égal >= ne semble pas supporter que j'ai remplacé par -ge

Cela semble fonctionné, merci.
Je vais partir de cela pour mon traitement, sachant que je n'ai pas assez de place pour dupliquer un fichier log de 44Go mdrrr
Merci pour ton aide

**ripat** · 28/05/2010, 08h40

Bonjour,

Pour le traitement d'un fichier log, dont on peut légitimement supposer qu'il est volumineux, il est préférable d'utiliser gawk (la version GNU de awk).

Par exemple le fichier en entrée:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
Thu Jul 3 15:48:25 2006 $RCS.......
Thu Jan 3 15:48:25 2007 $RCS.......
Thu Jul 3 15:48:25 2008 $RCS.......
Thu Sep 3 15:48:25 2009 $RCS.......

Un petit fichier contenant le code gawk:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
# initialisation des variables
BEGIN {
        FS="[ :]"
        split("Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec", m, " ")
        for (i=1; i<=12; i++) mnb[m[i]]=i
        now=systime()
 
}
 
# impression des lignes de moins de 365 jours
# le bloc {print} est superflu mais ajouté pour la clareté.
now-mktime($7" "mnb[$2]" "$3" "$4" "$5" "$6)<31536000 {print}

Exécution du code:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk -f code.awk fichier.entree

Attention que ce code awk ne fonctionnera qu'avec les versions GNU de awk disponible sur quasi toutes les distro Linux mais pas Unix.

**fdthierry** · 28/05/2010, 09h56

Bonjour et merci pour ta réponse.

J'ai créé le fichier code.awk et lorsque j'exécute ma commande, rien n'est affiché.

Voici le contenu de mon fichier log (fichier monfichier.log):

Thu Jan 3 15:48:59 2008 $RCSfile: insert.pl,v $ $Revision: 1.25 $ debug - nagiosgraph spawned
Thu Jan 3 15:48:59 2008 $RCSfile: insert.pl,v $ $Revision: 1.25 $ debug - processing perfdata: $||AA2||PING||$||$
Thu Jul 3 15:48:59 2008 $RCSfile: insert.pl,v $ $Revision: 1.25 $ info - Input lastcheck:$
Thu Jul 3 15:48:59 2008 $RCSfile: insert.pl,v $ $Revision: 1.25 $ info - Input hostname:AA2
Thu Jul 3 15:48:59 2008 $RCSfile: insert.pl,v $ $Revision: 1.25 $ info - Input servicedescr

ING
Thu Jul 3 15:48:59 2008 $RCSfile: insert.pl,v $ $Revision: 1.25 $ info - Input output:$
Thu Jul 3 15:48:59 2008 $RCSfile: insert.pl,v $ $Revision: 1.25 $ warn - perfdata not recognized
Thu Jul 3 15:48:59 2008 $RCSfile: insert.pl,v $ $Revision: 1.25 $ debug - nagiosgraph exited
Thu Jul 3 15:48:59 2008 $RCSfile: insert.pl,v $ $Revision: 1.25 $ debug - nagiosgraph spawned
Thu Jul 3 15:48:59 2008 $RCSfile: insert.pl,v $ $Revision: 1.25 $ debug - processing perfdata: $||AA4||PING||$||$
Thu Jul 3 15:48:59 2008 $RCSfile: insert.pl,v $ $Revision: 1.25 $ info - Input lastcheck:$
Thu Jul 3 15:48:59 2008 $RCSfile: insert.pl,v $ $Revision: 1.25 $ info - Input hostname:AA4
Thu Jul 3 15:48:59 2008 $RCSfile: insert.pl,v $ $Revision: 1.25 $ info - Input servicedescr

ING
Thu Jul 3 15:48:59 2008 $RCSfile: insert.pl,v $ $Revision: 1.25 $ info - Input output:$
Thu Jul 3 15:48:59 2008 $RCSfile: insert.pl,v $ $Revision: 1.25 $ warn - perfdata not recognized
Thu Jul 3 15:48:59 2008 $RCSfile: insert.pl,v $ $Revision: 1.25 $ debug - nagiosgraph exited
Thu Jul 3 15:48:59 2008 $RCSfile: insert.pl,v $ $Revision: 1.25 $ debug - nagiosgraph spawned
Thu Jul 3 15:48:59 2008 $RCSfile: insert.pl,v $ $Revision: 1.25 $ debug - processing perfdata: $||WF-6B2-5T2||PING||$||$
Thu Jul 3 15:48:59 2008 $RCSfile: insert.pl,v $ $Revision: 1.25 $ info - Input lastcheck:$
Thu Jul 3 15:48:59 2008 $RCSfile: insert.pl,v $ $Revision: 1.25 $ info - Input hostname:WF-6B2-5T2
Thu Jul 3 15:48:59 2008 $RCSfile: insert.pl,v $ $Revision: 1.25 $ info - Input servicedescr

ING

Le code saisi est le tien (fichier code.awk):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
# initialisation des variables
BEGIN {
	FS="[ :]"
	split("Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec", m, " ")
	for (i=1; i<=12; i++) mnb[m[i]]=i
	now=systime()
}
 
# impression des lignes de moins de 365 jours
now-mktime($7" "mnb[$2]" "$3" "$4" "$5" "$6)<31536000 {print}

et la commande aussi :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk -f code.awk monfichier.log

Merci pour ton aide

**ripat** · 28/05/2010, 10h50

C'est normal puisqu'aucune des lignes du fichier que tu donnes en exemple ne comporte de date de moins de 365 jours.

Joue sur la valeur de la condition 31536000 (365 jours en secondes) et tu devrais arriver à un résultat.

Le gain de temps sur un fichier log de 44 Go (mais es-tu sérieux?) sera considérable.

Une fois le fichier traité, mets-le en logrotate!

**fdthierry** · 28/05/2010, 12h05

Les lignes mises en exemple datent de 2008 lol

Oui, mon log fait bien 44Go, c'est un log de nagiosgraph.
Il n'a jamais été élagué.
Merci

**ripat** · 28/05/2010, 12h21

En bien mon vieux, ça doit en faire des lignes!

Ça ne donne toujours rien avec gawk? Quelle version de awk as-tu?

Fais ce test:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

gawk 'BEGIN{print systime(), strftime("%Y-%m-%d", systime())}'

Découpage chaine dans un script

Shell et commandes GNU

Discussions similaires

Partager

Partager