Discussion :

[GTJuanpablo]

Bonjour,

Je suis issu du dev web et je débute en shell. J'aimerai créer un script KSH qui sera éxécuter avec un cron et qui fera le travail suivant:

Parser un fichier de log apache:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
::1 - - [21/Apr/2009:09:38:52 +0200] "GET /.gif&utilisation=1&acces=1@stats=2 HTTP/1.1" 200 - "-" "Bla CFNetwork/422.11 Darwin/9.6.3 (i386) (iMac9%2C1)"
::1 - - [21/Apr/2009:09:38:53 +0200] "GET /.gif&utilisation=1&acces=1@stats=3 HTTP/1.1" 200 - "-" "Bla CFNetwork/422.11 Darwin/9.6.3 (i386) (iMac9%2C1)"
::1 - - [21/Apr/2009:09:38:57 +0200] "GET /.gif&utilisation=1&acces=2@carotte=2 HTTP/1.1" 200 - "-" "Bla CFNetwork/422.11 Darwin/9.6.3 (i386) (iMac9%2C1)"
::1 - - [21/Apr/2009:09:38:59 +0200] "GET /.gif&utilisation=1&acces=1@patate=8 HTTP/1.1" 200 - "-" "Bla CFNetwork/422.11 Darwin/9.6.3 (i386) (iMac9%2C1)"

Afin de créer un nouveau fichier CSV qui affichera mes logs de la sorte:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
# ----------------------------------------
# Table
# ----------------------------------------
/.gif&utilisation=1&acces=1@stats=2
/.gif&utilisation=1&acces=1@stats=3
/.gif&utilisation=1&acces=2@carotte=2
/.gif&utilisation=1&acces=1@patate=8
# --------------------------------------------------------------------------------

Pouvez-vous m'aider? je suis perdu dans l'écriture d'un tel script


merci d'avance

[Ashin]

un petit coup de sed :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -e 's/.*GET \(.*\) HTTP.*/\1/g'  apache.log

donne :

/.gif&utilisation=1&acces=1@stats=2
/.gif&utilisation=1&acces=1@stats=3
/.gif&utilisation=1&acces=2@carotte=2
/.gif&utilisation=1&acces=1@patate=8


pour le reste un simple echo " ...... " suffit

[GTJuanpablo]

En effet très efficace, cependant cela écrit dans mon terminal, comment extraire tout ca dans un CSV?

[Ashin]

pas très courageux quand meme

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
#!/bin/ksh
 
echo "# ----------------------------------------" > ./CSV
echo "# Table" >> ./CSV
echo "# ----------------------------------------" >> ./CSV
sed -e 's/.*GET \(.*\) HTTP.*/\1/g' ./apache.log >> ./CSV
echo >> ./CSV
echo "# --------------------------------------------------------------------------------" >> ./CSV

=> parse.sh
=> cat ./CSV
# ----------------------------------------
# Table
# ----------------------------------------
/.gif&utilisation=1&acces=1@stats=2
/.gif&utilisation=1&acces=1@stats=3
/.gif&utilisation=1&acces=2@carotte=2
/.gif&utilisation=1&acces=1@patate=8
# --------------------------------------------------------------------------------

[GTJuanpablo]

en effet avec tout ca je comprend mieux comme marche ce langage... merci


cependant est-ce possible de regrouper dans la regex les lignes identifiques. Exemple:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
/.gif&utilisation=1&acces=1@stats=2
/.gif&utilisation=1&acces=1@stats=3
/.gif&utilisation=1&acces=2@carotte=1
/.gif&utilisation=1&acces=1@carotte=1

en

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
/.gif&utilisation=1&acces=1@stats=2, 1
/.gif&utilisation=1&acces=1@stats=3, 1
/.gif&utilisation=1&acces=2@carotte=1, 2

[Ashin]

dans ton exemple, ils ont pas le meme accès les deux derniers

mais pour répondre a ta question, oui c'est possible
très simplement j'en suis pas sur

en gros faut sauvegarder ta ligne, la comparer aux suivantes
si il y a matching tu incrémentes un compteur
sinon tu passes
quand tu as fini tu affiches ta ligne si ton compteur est a zero
sinon tu affiche ta ligne suivi de la valeur du compteur+1

puis tu passes a la deuxième ligne ...
(pas très optimisé sans parler qu'il faut supprimer les lignes qui ont été matchées)


le perl serait beaucoup mieux adapté pour ça