Discussion :

[Roger_Rabbit]

Bonjour,

pour les besoins de livraisons régulières, nous avons mis en place un batch de redémarrage automatique de notre serveur tomcat6 (CentOS).
C'était un truc tout simple planifié; cf le résultat du 'crontab -e' (du super utilisateur) plus bas.
Ca a marché quelques jours , puis soudain*, le batch a cessé de fonctionner (plus aucune trace dans le log).

J'aurais donc souhaité votre avis au sujet de ce batch qui me semblait très simple (pas forcément blindé, mais on n'avait pas besoin de plus).
Y voyez-vous qqchose qui pourrait expliquer qu'il ne fonctionne pas ou plus?
Y'a t'il une meilleure façon de faire?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
59  3 * * * /home/backup/batchStopTomcat.sh >>/home/backup/logs/logBatchRedemarrageTomcat.log
05  4 * * * /home/backup/batchStartTomcat.sh >>/home/backup/logs/logBatchRedemarrageTomcat.log

Et le batch batchStartTomcat.sh:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
#!/bin/sh
NOW="$(date +%d/%m/%Y' - '%H:%M)" # date et heure du log
 
/etc/init.d/tomcat start
echo "[$NOW] starting tomcat"

(Le batch d'arrêt est sur le même modèle)

merci d'avance, et également de m'avoir lu jusqu'au bout!

PS : il est tout à fait possible que quelqu'un soit intervenu sur cette plateforme (une VM en réalité) qui ne nous appartient pas mais dont nous somme le principal utilisateur. Je n'ai pour cette raison malheureusement pas la possibilité d'identifier aisément ce qui pourrait être la cause de l'arrêt soudain du service. Je peux seulement adapter le batch pour faire en sorte qu'il marche dans tous les cas.

[NoClassDefFound]

Est-ce que c'est le cron qui ne lance pas le batch ou est-ce que c'est le batch qui plante ?
Comment est habituellement lancé tomcat, via un service avec un user tomcat ? En sudo ?

[tchize_]

/etc/init.d/tomcat start -> déjà redirige aussi la sortie de cette commande dans le log, le plus probableme, selon moi (à voir dans les logs de tomcat même) c'est que java n'est plus là, a bougé ou autre. Surtout que ton script n'explicite pas JAVA_HOME.

[Roger_Rabbit]

NoClassDefFound : n'ayant aucune trace dans mes fichiers de log, je suppose qu'il ne se lance tout simplement pas! Donc je dirais que c'est le cron qui pêche.
Et pour lancer le tomcat, à chaque gros redéploiement, on le fait à la main (sudo su => /etc/init.d tomcat6 stop / start)

tchize_ : je pensais que la redirection dans cron suffisait. Du coup, j'ai également redirigé sur mon fichier de log dans le batch => c'est peut-être pour ça que je n'ai pas de trace! Auquel cas ma conclusion au point précédente n'est pas forcément la bone.
Par contre, étant donné que c'est notre production, le résultat de la modif ne sera visible que demain matin.
Concernant le JAVA_HOME, je confirme qu'il n'était pas défini.
J'ai fait un test avec le même batch sur une autre VM* pour lequel le JAVA_HOME n'était pas défini non plus, et le batch fonctionne. Je ferais quand même bien le test sur mon batch en rajoutant cette ligne :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

export JAVA_HOME=/usr/lib/jvm/java-6-sun-1.6.0.22

A priori, je ne prends aucun risque à le définir

*(de configuration légèrement différente, donc le test n'est pas forcément représentatif)

[tchize_]

tchize_ : je pensais que la redirection dans cron suffisait.

Oui, si, j'avais mal vu. Attention cependant! tu ne redirige que stdout. Il faut aussi rediriger les messages d'erreur:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
59  3 * * * /home/backup/batchStopTomcat.sh >>/home/backup/logs/logBatchRedemarrageTomcat.log 2>&1
05  4 * * * /home/backup/batchStartTomcat.sh >>/home/backup/logs/logBatchRedemarrageTomcat.log 2>&1

Pour la java home, je voulais surtout signaler que l'environnement du cron (variables) n'est pas le même que celui de l'utilisateur interactif (tout le .bash_profile est skippé)

Ce qui serait intéressant, c'est ce qui se trouve dans ton catalina.out. Les script de tomcat (catalina.sh) envoient tout là bas

[NoClassDefFound]

Si je me souviens bien le daemon syslog génère une log dans le répertoire configuré dans le fichier /etc/syslog.conf, est-ce le cas sur la machine en question ?

[Roger_Rabbit]

Je rajoute la redirection de la sortie d'erreur. J'avais omis ce détail, en effet!
Ce sera peut-être un peu plus verbeux demain matin.

Si je me souviens bien le daemon syslog génère une log dans le répertoire configuré dans le fichier /etc/syslog.conf, est-ce le cas sur la machine en question ?

Oui, c'est le cas.
J'ai retrouvé la preuve que la tâche cron fonctionne bien en fin de compte :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
Nov 21 03:59:01 ... crond[24539]: (root) CMD (/home/.../batchStopTomcat.sh >>/.../backup/logs/logBatchRedemarrageTomcat.log)
Nov 21 04:01:01 ... crond[24684]: (root) CMD (run-parts /etc/cron.hourly)
Nov 21 04:02:01 ... crond[24732]: (root) CMD (run-parts /etc/cron.daily)
Nov 21 04:02:01 ... anacron[24736]: Updated timestamp for job `cron.daily' to 2012-11-21
Nov 21 04:05:01 ... crond[25743]: (root) CMD (/.../backup/batchStartTomcat.sh >>/.../backup/logs/logBatchRedemarrageTomcat.log)

Donc ce serait bien le batch qui pose problème...
Je vais le rendre un peu plus verbeux pour voir ce qu'il en est, et rediriger la sortie d'erreur également. On verra bien demain matin.

J'ai également jeté un oeil dans le catalina.out, mais là, on a une application plutôt verbeuse, et les traces un peu longues à analyser (> 5Go)... comme je ne suis pas certain de savoir quoi chercher (puisqu'à l'évidence le batch n'a pas marché, je ne trouverai pas le résultat de mon echo... et la recherche l'a bien confirmé)

[tchize_]

J'ai également jeté un oeil dans le catalina.out, mais là, on a une application plutôt verbeuse, et les traces un peu longues à analyser (> 5Go)... comme je ne suis pas certain de savoir quoi chercher (puisqu'à l'évidence le batch n'a pas marché, je ne trouverai pas le résultat de mon echo... et la recherche l'a bien confirmé)

Si tu redémarre ton tomcat la nuit, honnêtement -> fait un log rotate de ton catalina.out au passage

Aussi, commence à le lire par la fin.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

tac catalinat.out |less

[Roger_Rabbit]

Si tu redémarre ton tomcat la nuit, honnêtement -> fait un log rotate de ton catalina.out au passage

Pas sûr de comprendre ce que ça veut dire...

Aussi, commence à le lire par la fin.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

tac catalinat.out |less

Ca par contre, je comprends et c'est ce que je fais (mais ta commande a l'air plus efficace que ma lecture inversée via vim).
Mais tu serais étonné de voir ce qu'on arrive à logger entre 4h et 9h (je n'arrive pas au boulot très tôt, je sais :p).

[tchize_]

Pas sûr de comprendre ce que ça veut dire...

Tu fais tourner ton catalina.out pendant l'arrêt, pour que chaque jour / semaine, tomcat en utilise un différent.
ça peux se résumer avant le démarrage à faire un

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

mv catalina.out catalina.out.`date +'yyyymmdd'`

(de mémoire la commande date)

[Roger_Rabbit]

Désolé de mon temps de réponse : une petite urgence technique a requis toute mon attention

Tu fais tourner ton catalina.out pendant l'arrêt, pour que chaque jour / semaine, tomcat en utilise un différent.
ça peux se résumer avant le démarrage à faire un

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

mv catalina.out catalina.out.`date +'yyyymmdd'`

(de mémoire la commande date)

OK, comme ça je comprends. En effet, ça s'impose... du coup je vais le rajouter au crontab!

Au final, je viens de regarder les logs ce matin, et j'y trouve qqchose qui me plaît :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
about to stop tomcat
exporting java home /usr/java/jdk1.6.0_21
Stopping Jakarta Tomcat 6.0.26.
Using CATALINA_BASE:   /usr/local/tomcat
Using CATALINA_HOME:   /usr/local/tomcat
Using CATALINA_TMPDIR: /usr/local/tomcat/temp
Using JRE_HOME:        /usr/java/jdk1.6.0_21
Using CLASSPATH:       /usr/local/tomcat/bin/bootstrap.jar
[27/11/2012 - 03:59] stoping tomcat
about to start tomcat
exporting JAVA_HOME /usr/java/jdk1.6.0_21
Starting Jakarta Tomcat 6.0.26.
Using CATALINA_BASE:   /usr/local/tomcat
Using CATALINA_HOME:   /usr/local/tomcat
Using CATALINA_TMPDIR: /usr/local/tomcat/temp
Using JRE_HOME:        /usr/java/jdk1.6.0_21
Using CLASSPATH:       /usr/local/tomcat/bin/bootstrap.jar
[27/11/2012 - 04:05] starting tomcat

Les deux seules différences avec ce qui existait précédemment sont la redirection de la sortie d'erreur et le java home....
La seule autre explication que je vois serait un problème de droit sur le répertoire de log ... qui aurait été réglé entre temps (pas par moi).

En tous les cas, problème réglé ici! Merci de vos suggestions!

Je marque la question comme résolu, mais je suis ouvert à toutes autres suggestions, bien entendu!