Script de vérification pour la bonne réception d'un fichier

Version imprimable

08/09/2013, 20h23
20132014

Script de vérification pour la bonne réception d'un fichier

Bonjour tout le monde.

Je reçois un fichier chaque mois du coup je voudrai faire un script pour vérifier la bonne réception . *

Le fichier s'appelle fichier_datemoisjour qui se trouve dans le fichier log : info.log

Pouvez-vous m'aider à créer ce script.

Est ce que juste avec un cat du fichier log ça ira ?

Merci beaucoup d'avance.
08/09/2013, 20h39
N_BaH

Bonjour,

c'est pas clair. :( recommence.
comment fais-tu à la main ?
une ligne = une étape
08/09/2013, 21h19
20132014

j'avoue que je suis débutant dans le shell mais en gros

je veux vérifier si j'ai bien reçu un fichier normalement je le reçois chaque mois.

j'ai un fichier de log qui s'appel info.log

# cat info.log

fichier_20130908

pouvez-vous svp me donner des pistes pour créer un script qui vérifie le bonne reception mensuelle de ce fichier
08/09/2013, 22h16
Flodelarab
Bonjour

Personnellement, voici la méthode que j'utiliserais:
Code:

1 2 3 $ find . -maxdepth 1 -iname "*$(date +%Y%m)*" ./Waaaaaa-20130908.mp3 ./Waaaaaa-20130902.mp3
Si la commande renvoie des fichiers, c'est qu'il a reçu.
Sinon, c'est qu'il n'a pas reçu.

Dans mon exemple, j'ai bien reçu deux fichiers ce mois-ci.

Je n'utilise pas ton fichier de log.
À toi d'adapter à tes besoins.

PS: Cela dit, maintenant que tu as la piste pour fabriquer une date valide, tu peux filtrer ton fichier de log avec grep ;)
08/09/2013, 23h45
jlliagre

Citation:

Envoyé par 20132014

je veux vérifier si j'ai bien reçu un fichier normalement je le reçois chaque mois.

Quel jour ? Comment ce fameux fichier est-il recu ? par mail, ftp, scp, ... ? Où se trouve-t-il ?

Citation:

j'ai un fichier de log qui s'appel info.log

Où se trouve ce fichier de log ? Qui le crée ?

Citation:

# cat info.log

fichier_20130908

Le fichier de log s'appelle-t-il toujours "info.log" ? Est-ce que l'arrivée d'un nouveau fichier mensuel s'accompagne d'un nouveau fichier info.log ou une ligne est-elle ajoutée au fichier existant ?

Citation:

pouvez-vous svp me donner des pistes pour créer un script qui vérifie le bonne reception mensuelle de ce fichier

Comment définir une "bonne réception" ? Un fichier reçu vide ou tronqué est-il acceptable ?
08/09/2013, 23h49
N_BaH

oh la la ! tous ces détails, moi, je m'y perds :lol:

Citation:

je veux vérifier si j'ai bien reçu un fichier normalement je le reçois chaque mois.

« vérifier si j'ai bien reçu un fichier »
tu reçois ce fichier par quel moyen ?
d'autres fichiers arrivent-ils par ce moyen ?
«ce moyen» enregistre-t-il son activité ?
le fichier est enregistré dans un répertoire connu ?
quel rapport avec le fichier .log (hormis qu'il en contient le nom) ?
le fichier .log contient-il d'autres informations ?

« chaque mois »
à une date fixe ?
s'il n'est pas arrivé à cette date ?
...
?

edit :
ah !? grillé par jlliagre :mrgreen:
09/09/2013, 10h55
20132014
Bonjour tout le monde,

le fichier s'appelle : fichier20130909 qui se trouve dans le repertoire : /depot/fichiers

Suite au lancement d'un script qui ce lance mensuelement et qui génére le fichier fichier20130909 date ( chaque premier du mois )

l'issue de ce script la bonne reception se trace dans le fichier de log qui s'appelle info.log

exemple de fichier de log :
Code:

1 2 3 4 # cat info.log fichier20130701 fichier20130801 fichier20130901
« vérifier si j'ai bien reçu un fichier »
tu reçois ce fichier par quel moyen ?
suite à un script qui génére ce fichier
d'autres fichiers arrivent-ils par ce moyen ?
non juste un seul fichier
«ce moyen» enregistre-t-il son activité ?
dans les logs , le fichier de log s'appelle info.log
le fichier est enregistré dans un répertoire connu ?
/depot/fichiers
quel rapport avec le fichier .log (hormis qu'il en contient le nom) ?
juste le nom de fichier et l'heure de génération
le fichier .log contient-il d'autres informations ?
non que e nom de fichier et l'heure de génération
« chaque mois »
à une date fixe ?
le premier du mois
s'il n'est pas arrivé à cette date ?
généré un message d'erreur
09/09/2013, 11h29
N_BaH

Citation:

la bonne reception se trace dans le fichier de log qui s'appelle info.log

donc, le 2 du mois, tu peux lire la dernière ligne du fichier info.log, et alors
soit le nom du fichier extrait contient la date de la veille, et c'est bon
soit pas, et c'est pas bon !
09/09/2013, 13h30
jlliagre
Citation:

Envoyé par 20132014

Bonjour tout le monde

Bonjour Céline (drôle de prénom pour un homme... ).

Citation:

Suite au lancement d'un script qui ce lance mensuelement et qui génére le fichier fichier20130909 date ( chaque premier du mois )

Pourquoi 20130909 si c'est le premier du mois ?

Citation:

l'issue de ce script la bonne reception se trace dans le fichier de log qui s'appelle info.log

Donc, tu as déjà un script qui s'assure de la bonne réception du fichier. Pourquoi vouloir en écrire un autre ?
Citation:
exemple de fichier de log :

Code:

1 2 3 4 # cat info.log fichier20130701 fichier20130801 fichier20130901

« vérifier si j'ai bien reçu un fichier »
tu reçois ce fichier par quel moyen ?
suite à un script qui génére ce fichier
Ou s'en doutait un peu, mais qu'est ce qui déclenche l'exécution de ce script là ?

Citation:

juste le nom de fichier et l'heure de génération

Il n'y a pas d'heure dans l'exemple de fichier info.log que tu as donné.

Citation:

s'il n'est pas arrivé à cette date ?
généré un message d'erreur

Où se trouve le message d'erreur généré ? dans le fichier info.log ?
10/09/2013, 11h35
20132014

Citation:

Envoyé par jlliagre

Bonjour Céline (drôle de prénom pour un homme... ).
Pourquoi 20130909 si c'est le premier du mois ?Donc, tu as déjà un script qui s'assure de la bonne réception du fichier. Pourquoi vouloir en écrire un autre ?

Ou s'en doutait un peu, mais qu'est ce qui déclenche l'exécution de ce script là ?
Il n'y a pas d'heure dans l'exemple de fichier info.log que tu as donné.
Où se trouve le message d'erreur généré ? dans le fichier info.log ?

# cat info.log
fichier20130701
fichier20130801
fichier20130901

pouvez-vous svp à m'aider à écrire ce script :

si le fichier info.log contient le fichier du premier de mois afficher ok sinon afficher erreur
10/09/2013, 11h50
jlliagre

Merci de répondre aux question posées, sinon, il y a peu de chance d'avancer sur le sujet ...
10/09/2013, 13h16
20132014

Pourquoi 20130909 si c'est le premier du mois ?

Citation:

c'était juste un exemple , normalement c'est le 01 de chaque mois

l'issue de ce script la bonne reception se trace dans le fichier de log qui s'appelle info.log
Donc, tu as déjà un script qui s'assure de la bonne réception du fichier. Pourquoi vouloir en écrire un autre ?

Citation:

pour ne pas vérifier a chaque fois , en plus ca sera pour un check nagios pour superviser la tache.

# cat info.log
fichier20130701
fichier20130801
fichier20130901
« vérifier si j'ai bien reçu un fichier »
tu reçois ce fichier par quel moyen ?

suite à un script qui génére ce fichier
Ou s'en doutait un peu, mais qu'est ce qui déclenche l'exécution de ce script là ?

Citation:

la crontab

juste le nom de fichier et l'heure de génération
Il n'y a pas d'heure dans l'exemple de fichier info.log que tu as donné.

si il y a l'année le mois et je jour ainsi que l'heure et minute

s'il n'est pas arrivé à cette date ?

Citation:

généré un message d'erreur

Où se trouve le message d'erreur généré ? dans le fichier info.log ?

Citation:

dans le fichier info.log

j'espére que j'était clair :)
10/09/2013, 18h08
jlliagre

Tu as inversé les tags "citation" dans ta réponse, c'est un peu bizarre à lire.

Comme l'une de tes réponses n'est toujours pas claire, peux-tu donner une exemple de fichier info.log qui corresponds à ce que tu décris ? C'est à dire où l'heure de réception est présente et aussi donner un exemple de message d'erreur que l'on est susceptible de trouver dans ce fichier info.log.
10/09/2013, 20h45
20132014

Citation:

Envoyé par jlliagre

Tu as inversé les tags "citation" dans ta réponse, c'est un peu bizarre à lire.

Comme l'une de tes réponses n'est toujours pas claire, peux-tu donner une exemple de fichier info.log qui corresponds à ce que tu décris ? C'est à dire où l'heure de réception est présente et aussi donner un exemple de message d'erreur que l'on est susceptible de trouver dans ce fichier info.log.

re-bonjour jlliagre ;) ,

exemple de fichier info.log :

20130801 130210 fichier20130801

un exemple de message d'erreur :

opération en erreur pouvez-vous ré-essayer
10/09/2013, 22h40
jlliagre

Pas terrible comme message d'erreur ...
11/09/2013, 09h32
20132014

Citation:

Envoyé par jlliagre

Pas terrible comme message d'erreur ...

Pouvez-vous svp m'aider à créer ce script ou des pistes ?

probablement quelque chose du genre :
Code:

1 2 3 4 5 6 7 8 9 #!/bin/sh [ ! -f /chemin/fichier ] && ( echo "fichier absent "$(date +%Y%m%d) >> /var/log/valid.fichierpresent.log ; exit 1 ) test=$(fuser -v /chemin/fichier) # voir si il y a un processus qui ecrit encore le fichier if [ test ...... ] ; then echo "le fichier est tjrs en cours de transfert "$(date +%Y%m%d) >> /var/log/valid.fichierpresent.log exit 1 fi echo fichier present... exit 0
ça c'est l'algo minimal possible
après faut broder autour et adapter à ton besoin.

un fichier "arrivé" par définition doit être FINI d'arriver .... c'est donc indispensable de tester qu'il soit bien terminé d'arrivé.

oublies pas que pour ton cas les informations comme le nom de fichier et la date à chercher sont à extraire de ton fichier info.log

11/09/2013, 11h25
20132014
Bonjour tout le monde,
Code:

1 2 3 4 5 6 #!/bin/sh fichier=fichier$(date +%Y%m%d) log=info.log IF grep fichier log then echo " fichier est présent" elif then echo " fichier non présent"
pour faire un script qui marche tout les jours , comment je peux faire un grep d'un fichier qui date d'un mois parce que on est le 11/09/2013 et je veux que mon script me dise toujours que le fichier de début de mois est présent. en l'occurence le script est fonctionnel pour un fichier qui date d'aujourd'hui et pas d'avant.

Merci bcp pour vos aides :)
Bonne jounée a tout le monde;

Je ferais quelque chose comme ça:

Code:

1
2
3
4
5
6
if [ "$(tail -1 /depot/fichiers/info.log | awk '{print $3}' | sed 's/..$//')" = fichier$(date +%Y%m) ]; then
    echo "OK - $(tail -1 /depot/fichiers/info.log | awk '{printf "fichier reçu le %s à %s\n",$1,$2);}')"
else
    echo "KO - $(tail -1 /depot/fichiers/info.log)"
    exit 1
fi

11/09/2013, 11h55
N_BaH

ah ben non alors, pas awk | sed :aie:

et le tail dans une variable svp. ;)
11/09/2013, 12h16
zipe31

Salut,

Si j'ai bien tout suivi depuis le début tu cherches l'occurrence d'un fichier datant du 1er du mois en cours, c'est bien ça ?

Si oui, alors :

Code:

egrep -q "fichier$(date '+%Y%m01')" info.log && echo "OK" || echo "Pas bon"

Patapé si ce n'est pas ça, hein ? :aie:
11/09/2013, 23h03
jlliagre

Citation:

Envoyé par N_BaH

ah ben non alors, pas awk | sed :aie:

et le tail dans une variable svp. ;)

Bien sûr, mais je n'ai pas écrit que je ferais comme ça, juste "quelque chose comme ça" ;)
11/09/2013, 23h13
jlliagre

Citation:

Envoyé par zipe31

Salut,

Si j'ai bien tout suivi depuis le début tu cherches l'occurrence d'un fichier datant du 1er du mois en cours, c'est bien ça ?

Si oui, alors :

Code:

egrep -q "fichier$(date '+%Y%m01')" info.log && echo "OK" || echo "Pas bon"

Patapé si ce n'est pas ça, hein ? :aie:

Le problème est que ça va afficher "Pas bon" même si la situation est corrigée le lendemain (ou plus tard). C'est pour ça que je ne testais pas le jour dans mon "brouillon" de script.

Je préfère aussi ne traiter que la dernière ligne car elle peut éventuellement contenir un message d'erreur qui invalide la ligne du mois courant (ou pas ...).

Code:

tail -1 info.log | grep -q "fichier$(date '+%Y%m')" info.log && echo "OK" || echo "Pas bon"
12/09/2013, 09h39
zipe31

Citation:

Envoyé par jlliagre

Le problème est que ça va afficher "Pas bon" même si la situation est corrigée le lendemain (ou plus tard).

Euh... et pourquoi ça ? J'ai pas tout compris là :?

Si le 03 le fichier n'est pas présent ça affichera "Pas bon", mais si le 04 le fichier est ajouté, ça affichera "Ok", non ?

Citation:

Envoyé par N_BaH

ah ben non alors, pas awk | sed :aie:

et le tail dans une variable svp. ;)

Nouvelle version tenant entre autres compte de ces deux remarques:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
lastLine=$(tail -1 /depot/fichiers/info.log)
rv=1
if [ "$(printf "%s" "$lastLine" | awk '{gsub("..$","",$3); print $3}')" = fichier$(date +%Y%m) ]; then
    if [ -f /depot/fichiers/"$(printf "%s" "$lastLine" | awk '{print $3})" ]; then
        echo "OK - $(printf "%s" "$lastLine" | awk '{printf "fichier reçu le %s à %s\n",$1,$2);}')"
        rv=0
    else
        echo "KO - incohérence entre fichier de log et contenu du répertoire cible"
    fi
else
    echo "KO - $(tail -1 /depot/fichiers/info.log)"
fi
exit $rv

12/09/2013, 10h01
jlliagre

Citation:

Envoyé par zipe31

Euh... et pourquoi ça ? J'ai pas tout compris là :?

Si le 03 le fichier n'est pas présent ça affichera "Pas bon", mais si le 04 le fichier est ajouté, ça affichera "Ok", non ?

A priori, ça affichera "Pas bon" car le fichier ajouté le 4 devrait s'appeller "fichier20130904" si l'on se réfère au post #3 où Céline donne comme exemple "fichier_20130908".
12/09/2013, 10h57
zipe31

Citation:

Envoyé par jlliagre

A priori, ça affichera "Pas bon" car le fichier ajouté le 4 devrait s'appeller "fichier20130904" si l'on se réfère au post #3 où Céline donne comme exemple "fichier_20130908".

Oui mais moi je me réfère au post #12 et d'autres (avant et après, notamment 7, 3, 14 pour des exemples de fichiers) où il spécifie bien :

Citation:

Pourquoi 20130909 si c'est le premier du mois ?

Citation:
c'était juste un exemple , normalement c'est le 01 de chaque mois

:aie:
12/09/2013, 14h52
jlliagre

"normalement" != "uniquement".

Le fichier est normalement transmis le premier du mois, mais s'il ne l'est pas, on peut supposer que l'on ne va pas attendre un mois pour résoudre le problème en ayant un voyant rouge allumé en permanence sous Nagios.

Si la correction a consisté à renvoyer le fichier le 4 du mois, par exemple, rien ne permet d'assumer qu'il a été nommé "fichierYYYYMM01".
12/09/2013, 20h39
Winnt
Bonsoir,

Citation:

Envoyé par Céline

Bonjour tout le monde.

Je reçois un fichier chaque mois du coup je voudrai faire un script pour vérifier la bonne réception . *

Le fichier s'appelle fichier_datemoisjour qui se trouve dans le fichier log : info.log

Pouvez-vous m'aider à créer ce script.

Est ce que juste avec un cat du fichier log ça ira ?

Merci beaucoup d'avance.

En résumé tu souhaite être informé de la création d'un fichier dans un répertoire spécifique.

Si tu as la main sur le serveur utilise incron avec la surveillance d'événement IN_CLOSE.

Code:

<répertoire à surveiller> IN_CLOSE <chemin absolu vers script>/<mon script> $#
Code:

1 2 3 #!/bin/bash Fichier="Le fichier $1 a été créé le $(date)." mail -s "Fichier créé" xxx@yyy.zzz < $Fichier
Voilà avec cela tu reçoit un mail une fois le fichier créé dans le répertoire que tu veux surveiller.
Charge à toi de peaufiner ce bout de script.

Fuseau horaire GMT +2. Il est actuellement 19h37.