inotifywait : scruter un fichier de log et faire une action

Bonjour à tous,
J'ai un fichier de log qui est constamment alimenté. J'aimerai détecter certains mots cles dans les lignes ajoutées pour faire des actions spécifiques.
Je me suis orienté sur inotifywait avec l'action MODIFY suivit d'un tail -n1, de la détection du mot clé et de l'action spécifique dans une boucle while.
Le problème c'est que le temps que le traitement soit fait, des lignes sont ajoutées dans la log et donc pas détectées par inotifywait.

Est ce qu'il y a un moyen de gérer ce cas avec inotifywait ou dois je faire autrement par exemple un script qui enregistre la dernière ligne lors d'une scrutation pour reprendre de cette ligne lors de la prochaine scrutation et donc utiliser cron ?

Merci pour votre aide.

Bonjour,

est-ce qu'un simple tail -f tonFichier | grep tonMotif pourrait suffire ?

Bonjour,
Merci pour ta réponse rapide, j'y avais pensé mais il y a plusieurs problèmes :
1 - Comment ne pas détecter la même ligne si le fichier de log n'est pas alimenté ?
2 - Comment gérer si beaucoup de lignes sont ajoutées au fichier de log entre 2 exécutions du tail ?

Merci en tout cas.

tail -f est exécuté en continu. Il n'est pas nécessaire de le relancer, sauf, bien sûr, si tu interromps la commande

Du coup j'ai un peu avancé mais je ne comprends comment tail fonctionne excatement.

Quand je lance la commande ça fonctionne au lancement car le mot clé est dans les dernières lignes mais pas quand il est ajouté par la suite dans le fichier.
J'ai lancé directement dans la console la commande suivante:

Code:

---

tail -f mylogFile.log | grep join | . myOtherBash.sh

---

Qu'est ce que je fais mal ou que je n'ai pas compris ?

Merci

d'abord, le point indique d'exécuter le script dans l'environnement courant; ce n'est pas une bonne pratique si tu ne veux pas modifier l'environnement courant.

ajoute l'option --line-buffered à grep.

Citation:

---

Envoyé par Spiritkill

Quand je lance la commande ça fonctionne au lancement car le mot clé est dans les dernières lignes mais pas quand il est ajouté par la suite dans le fichier.

---

Ben si, ça devrait marcher.

Pour t'en convaincre, tu ouvres 2 consoles.

Sur la première, tu pars d'un fichier "mylogFile.log" qui ne contient pas le mot-clé et tu tapes tail -f mylogFile.log | grep join.

Tu constates alors qu'il ne te rend pas la main, c'est-à-dire que le tail -f attend que le fichier se remplisse (tant qu'il n'est pas interrompu par Ctrl-C).

Ensuite, dans la 2ème console, tu tapes echo "le join numéro 1" >> mylogFile.log et tu constates que cette ligne apparaît bien dans la première console.
Si tu étends le fichier avec des lignes sans le mot-clé comme echo "pas de JOIN minuscule" >> mylogFile.log, tu constates qu'elles n'apparaissent pas dans la première console.
Si tu étends le fichier avec de nouvelles lignes contenant le mot-clé comme echo "le join numéro 2" >> mylogFile.log, tu constates qu'elles apparaissent bien dans la première console, au fur et à mesure que tu les ajoutes.

CQFD.

Après, comme les lignes contenant le mot-clé sont produites de manière asynchrone, il faut que le script qui les absorbe fasse bien son boulot:

Code:

---

tail -f mylogFile.log | grep join | ./myOtherBash.sh

---

S'il ne fait pas ce que tu attends, on a besoin d'en voir le contenu pour t'aider!

Bonjour,
Voici ma solution:
Je suis passé par un while à la suite du tail.
J'avais commencé à regarder awk mais je ne parvenais pas à exécuter un script en fonction de mon motif.

J'ai tout de même 2 questions:
1 - Est ce que ma solution n'est pas trop gourmande en perf ?
2 - On ne peut pas faire de vrai regex avec =~ est-ce qu'il y a un moyen d'utiliser des regex plus complexe ?
Par exemple je suis obligé de mettre shopt -s nocasematch car (?i) ne fonctionne pas
Ou encore ma 3ème conditions ne match pas alors que qu'elle fonctionne bien sous regex101.com

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13

tail -F ${currentFileLog} | while read -r line; do shopt -s nocasematch #echo $line if [[ "$line" == "Started" ]]; then #echo "START" . ${myScriptPath} START fi if [[ "$line" =~ .*admin.* ]]; then #echo "ADMIN" . ${myScriptPath} ADMIN fi done

---

(?i) ne fonctionne pas d'emblée avec grep, pourtant il utilise des "vrais" regex.
c'est une regex perl ?

shopt ne doit pas être dans la boucle.
il est préférable d'assigner la regex à une variable (en dehors de la boucle)

pourquoi continues-tu de sourcer tes scripts ? ce n'est pas la manière correcte d'exécuter un script.

Salut,
Merci de ta patience.
Du coup j'ai fait quelques recherches pour comprendre la différence entre "sourcer" et "executer" un script.
Pour info j'avais sourcé mon script car avec ./ on ne peut pas exécuter un script si on n'est pas dans le dossier du script et je ne savais pas que l'on pouvait le faire en ne mettant rien.

Voici mon script modifié, il fonctionne mais est-ce que la syntaxe est bonne ?

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13

shopt -s nocasematch tail -F $currentFileLog | while read -r line; do #echo $line if [[ "$line" =~ $regexStart ]]; then #echo "START" ${myScriptPath} START fi if [[ "$line" =~ $regexAdmin ]]; then #echo "ADMIN" ${myScriptPath} ADMIN fi done

---

Je voulais utiliser des regex plus compliqués comme "ne contient pas" avec l'utilisation de (?!) ou même plus simple comme "ne pas tenir compte de la casse pour l'extension du fichier seulement" avec (?i) :
Test fait sur "https://regex101.com/"
Pièce jointe 563280

a priori :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14

shopt -s nocasematch tail -F "$currentFileLog" | while read -r line do opt='' if [[ $line =~ $regexStart ]] # les guillemets sont facultatifs entre crochets doubles then opt=START elif [[ $line =~ $regexAdmin ]]; then opt=ADMIN fi # $myScriptPath $opt #les accolades sont inutiles ici. Et si le script n'est plus appelé qu'une seule fois, alors une variable est-elle utile ? /chemin/monScript $opt done

---

pour les regex, je ne sais pas. C'est un peu le bazar; par exemple, find peut en utiliser de 13 types (et perl n'y figure pas !) :

Code:

---

1 2	find: Type d'expression régulière ‘help’ inconnu*; les types valides sont ‘findutils-default’, ‘ed’, ‘emacs’, ‘gnu-awk’, ‘grep’, ‘posix- awk’, ‘awk’, ‘posix-basic’, ‘posix-egrep’, ‘egrep’, ‘posix-extended’, ‘posix-minimal-basic’, ‘sed’.

---

j'ai l'impression que chaque langage restreint/ajoute/modifie ce que selon lui doit pouvoir faire une regex...

bash, pour son opérateur =~, a choisi POSIX extended regex.

Citation:

---

Envoyé par Spiritkill

Je voulais utiliser des regex plus compliqués comme "ne contient pas" avec l'utilisation de (?!) ou même plus simple comme "ne pas tenir compte de la casse pour l'extension du fichier seulement"

---

On peut faire tout ça (soit directement avec le shell (comme tu l'as fait) ou bien avec awk).

Pour le "ne contient pas", tu peux utiliser [^x] qui veut dire "un caractère différent de x".

Pour une ignorance complète de la casse, tu as déjà utilisé shopt -s nocasematch,
mais si tu veux la restreindre à la seule extension du fichier, tu peux:
- supprimer le "shopt" précédent
- et utiliser le bout de regexp [Pp][Dd][Ff] qui matche un "p" majuscule ou minuscule, suivi d'un "d" majuscule ou minuscule et d'un "f" majuscule ou minuscule.

Tout ça peut demander une certaine habitude des regexps... et il y a ici quelques spécialistes...

Faudrait voir quels sont tes besoins précisément...

Parfait merci pour vos retours.
J'ai appris pas mal de chose, des bases effectivement mais je comprends mieux ce que je fais maintenant.

Je vais regarder de plus prêt les regex et trouver des solutions alternatives comme pour "[Pp][Dd][Ff]".

Merci encore

Attention N_BaH, dans le script que tu me proposes, si on sort l'appel du script des boucles "if", il sera exécuté pour chaque ligne et sans option.
Le mieux est donc bien de garder l'appel dans chaque clause "if".

Merci

Code:

---

test -n "$opt" && /chemin/monScript $opt

---

et hop! :)

mais ton script pourrait aussi vérifier les valeurs qui lui sont passées, et "ne pas s'exécuter" si les arguments passés ne sont pas corrects. :mrgreen: