Discussion :

[Spiritkill]

Bonjour à tous,
J'ai un fichier de log qui est constamment alimenté. J'aimerai détecter certains mots cles dans les lignes ajoutées pour faire des actions spécifiques.
Je me suis orienté sur inotifywait avec l'action MODIFY suivit d'un tail -n1, de la détection du mot clé et de l'action spécifique dans une boucle while.
Le problème c'est que le temps que le traitement soit fait, des lignes sont ajoutées dans la log et donc pas détectées par inotifywait.

Est ce qu'il y a un moyen de gérer ce cas avec inotifywait ou dois je faire autrement par exemple un script qui enregistre la dernière ligne lors d'une scrutation pour reprendre de cette ligne lors de la prochaine scrutation et donc utiliser cron ?

Merci pour votre aide.

[N_BaH]

Bonjour,

est-ce qu'un simple tail -f tonFichier | grep tonMotif pourrait suffire ?

[Spiritkill]

Bonjour,
Merci pour ta réponse rapide, j'y avais pensé mais il y a plusieurs problèmes :
1 - Comment ne pas détecter la même ligne si le fichier de log n'est pas alimenté ?
2 - Comment gérer si beaucoup de lignes sont ajoutées au fichier de log entre 2 exécutions du tail ?

Merci en tout cas.

[N_BaH]

tail -f est exécuté en continu. Il n'est pas nécessaire de le relancer, sauf, bien sûr, si tu interromps la commande

[Spiritkill]

Du coup j'ai un peu avancé mais je ne comprends comment tail fonctionne excatement.

Quand je lance la commande ça fonctionne au lancement car le mot clé est dans les dernières lignes mais pas quand il est ajouté par la suite dans le fichier.
J'ai lancé directement dans la console la commande suivante:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

tail -f mylogFile.log | grep join | . myOtherBash.sh

Qu'est ce que je fais mal ou que je n'ai pas compris ?

Merci

[N_BaH]

d'abord, le point indique d'exécuter le script dans l'environnement courant; ce n'est pas une bonne pratique si tu ne veux pas modifier l'environnement courant.

ajoute l'option --line-buffered à grep.

[jack-ft]

Quand je lance la commande ça fonctionne au lancement car le mot clé est dans les dernières lignes mais pas quand il est ajouté par la suite dans le fichier.

Ben si, ça devrait marcher.

Pour t'en convaincre, tu ouvres 2 consoles.

Sur la première, tu pars d'un fichier "mylogFile.log" qui ne contient pas le mot-clé et tu tapes tail -f mylogFile.log | grep join.

Tu constates alors qu'il ne te rend pas la main, c'est-à-dire que le tail -f attend que le fichier se remplisse (tant qu'il n'est pas interrompu par Ctrl-C).

Ensuite, dans la 2ème console, tu tapes echo "le join numéro 1" >> mylogFile.log et tu constates que cette ligne apparaît bien dans la première console.
Si tu étends le fichier avec des lignes sans le mot-clé comme echo "pas de JOIN minuscule" >> mylogFile.log, tu constates qu'elles n'apparaissent pas dans la première console.
Si tu étends le fichier avec de nouvelles lignes contenant le mot-clé comme echo "le join numéro 2" >> mylogFile.log, tu constates qu'elles apparaissent bien dans la première console, au fur et à mesure que tu les ajoutes.

CQFD.

Après, comme les lignes contenant le mot-clé sont produites de manière asynchrone, il faut que le script qui les absorbe fasse bien son boulot:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

tail -f mylogFile.log | grep join | ./myOtherBash.sh

S'il ne fait pas ce que tu attends, on a besoin d'en voir le contenu pour t'aider!

[Spiritkill]

Bonjour,
Voici ma solution:
Je suis passé par un while à la suite du tail.
J'avais commencé à regarder awk mais je ne parvenais pas à exécuter un script en fonction de mon motif.

J'ai tout de même 2 questions:
1 - Est ce que ma solution n'est pas trop gourmande en perf ?
2 - On ne peut pas faire de vrai regex avec =~ est-ce qu'il y a un moyen d'utiliser des regex plus complexe ?
Par exemple je suis obligé de mettre shopt -s nocasematch car (?i) ne fonctionne pas
Ou encore ma 3ème conditions ne match pas alors que qu'elle fonctionne bien sous regex101.com

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
tail -F ${currentFileLog} |
        while read -r line; do
                shopt -s nocasematch
                #echo $line
                if [[ "$line" == "Started"  ]]; then
                        #echo "START"
                        . ${myScriptPath} START
                fi
                if [[ "$line" =~ .*admin.* ]]; then
                        #echo "ADMIN"
                        . ${myScriptPath} ADMIN
                fi
        done

[N_BaH]

(?i) ne fonctionne pas d'emblée avec grep, pourtant il utilise des "vrais" regex.
c'est une regex perl ?

shopt ne doit pas être dans la boucle.
il est préférable d'assigner la regex à une variable (en dehors de la boucle)

pourquoi continues-tu de sourcer tes scripts ? ce n'est pas la manière correcte d'exécuter un script.

[Spiritkill]

Salut,
Merci de ta patience.
Du coup j'ai fait quelques recherches pour comprendre la différence entre "sourcer" et "executer" un script.
Pour info j'avais sourcé mon script car avec ./ on ne peut pas exécuter un script si on n'est pas dans le dossier du script et je ne savais pas que l'on pouvait le faire en ne mettant rien.

Voici mon script modifié, il fonctionne mais est-ce que la syntaxe est bonne ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
shopt -s nocasematch
tail -F $currentFileLog |
        while read -r line; do
                #echo $line
                if [[ "$line" =~ $regexStart  ]]; then
                        #echo "START"
                        ${myScriptPath} START
                fi
                if [[ "$line" =~ $regexAdmin ]]; then
                        #echo "ADMIN"
                        ${myScriptPath} ADMIN
                fi
        done

Je voulais utiliser des regex plus compliqués comme "ne contient pas" avec l'utilisation de (?!) ou même plus simple comme "ne pas tenir compte de la casse pour l'extension du fichier seulement" avec (?i) :
Test fait sur "https://regex101.com/"

[N_BaH]

a priori :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
shopt -s nocasematch
tail -F "$currentFileLog" |
    while read -r line
    do
        opt=''
        if [[ $line =~ $regexStart  ]] # les guillemets sont facultatifs entre crochets doubles
        then
            opt=START
        elif [[ $line =~ $regexAdmin ]]; then
            opt=ADMIN
        fi
#        $myScriptPath $opt #les accolades sont inutiles ici. Et si le script n'est plus appelé qu'une seule fois, alors une variable est-elle utile ?
        /chemin/monScript $opt
    done

pour les regex, je ne sais pas. C'est un peu le bazar; par exemple, find peut en utiliser de 13 types (et perl n'y figure pas !) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
find: Type d'expression régulière ‘help’ inconnu*; les types valides sont ‘findutils-default’, ‘ed’, ‘emacs’, ‘gnu-awk’, ‘grep’, ‘posix-
awk’, ‘awk’, ‘posix-basic’, ‘posix-egrep’, ‘egrep’, ‘posix-extended’, ‘posix-minimal-basic’, ‘sed’.

j'ai l'impression que chaque langage restreint/ajoute/modifie ce que selon lui doit pouvoir faire une regex...

bash, pour son opérateur =~, a choisi POSIX extended regex.

[jack-ft]

Je voulais utiliser des regex plus compliqués comme "ne contient pas" avec l'utilisation de (?!) ou même plus simple comme "ne pas tenir compte de la casse pour l'extension du fichier seulement"

On peut faire tout ça (soit directement avec le shell (comme tu l'as fait) ou bien avec awk).

Pour le "ne contient pas", tu peux utiliser [^x] qui veut dire "un caractère différent de x".

Pour une ignorance complète de la casse, tu as déjà utilisé shopt -s nocasematch,
mais si tu veux la restreindre à la seule extension du fichier, tu peux:
- supprimer le "shopt" précédent
- et utiliser le bout de regexp [Pp][Dd][Ff] qui matche un "p" majuscule ou minuscule, suivi d'un "d" majuscule ou minuscule et d'un "f" majuscule ou minuscule.

Tout ça peut demander une certaine habitude des regexps... et il y a ici quelques spécialistes...

Faudrait voir quels sont tes besoins précisément...

[Spiritkill]

Parfait merci pour vos retours.
J'ai appris pas mal de chose, des bases effectivement mais je comprends mieux ce que je fais maintenant.

Je vais regarder de plus prêt les regex et trouver des solutions alternatives comme pour "[Pp][Dd][Ff]".

Merci encore

[Spiritkill]

Attention N_BaH, dans le script que tu me proposes, si on sort l'appel du script des boucles "if", il sera exécuté pour chaque ligne et sans option.
Le mieux est donc bien de garder l'appel dans chaque clause "if".

Merci

[N_BaH]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

test -n "$opt" && /chemin/monScript $opt

et hop!

mais ton script pourrait aussi vérifier les valeurs qui lui sont passées, et "ne pas s'exécuter" si les arguments passés ne sont pas corrects.