Script Shell qui ne démarre pas toutes les commandes

**andyajram** · 07/04/2020, 16h03

Bonjour
J'ai un script shell , qui doit vérifier si des services sont démarrés , sinon il les démarre , le problème est que le script ne démarre que les deux premiers services, et ignore les autres suivants , est-ce-que quelqu'un pourrait me dire pourquoi ??

voici le script et le fichier config :

Script a executer:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
 
\#!/bin/bash
 
#startService
#arg1 service path
#arg2 service command
#arg3 service args
startService(){
        echo "Starting......"
        echo $1
        echo $2
        echo $3
        cd ${1}
        eval ${2} ${3} &
        #cd -
        #Checking if the service is successfully started
        echo "Started!"
}
 
#Check service method
#arg1 the service configuration string
#arg2 the current node type A or P
checkService(){
        #echo $1
        #echo $2
        #Split the configuration string
        IFS=',' read -ra SERVICECONF <<< "$1"
        #Get Service PID
        PID=$(pgrep -f "${SERVICECONF[4]}")
        #echo ${SERVICECONF[1]}
        #echo $PID
        #Check if the serivce is running
        if [ -z $PID ];
        then
                echo "Service ${SERVICECONF[0]} is NOT running"
                #Check if the service is eligible to be started according to the service type and the node type
                #NODETYPE == A && service type == A-A (eligible)
                #NODETYPE == A && service type == A-P (eligible)
                #NODETYPE == P && service type == A-A (eligible)
                #NODETYPE == P && service type == A-P (NOT eligible)
                #echo +++++++++++++++
                #echo $2
                #echo ${SERVICECONF[4]}
                #echo +++++++++++++++
                if [ $2 = "A" -a ${SERVICECONF[5]} = "A-A" ] || \
                        [ $2 = "A" -a ${SERVICECONF[5]} = "A-P" ] || \
                        [ $2 = "P" -a ${SERVICECONF[5]} = "A-A" ]; then
                        echo "Service ${SERVICECONF[0]} is eligible to be restarted"
                        startService ${SERVICECONF[1]} ${SERVICECONF[2]} ${SERVICECONF[3]}
                else
                        echo "Service ${SERVICECONF[0]} is NOT eligible to be restarted"
                fi
        else
                echo "${SERVICECONF[0]} RUNNING"
		if  [ $2 = "P" -a ${SERVICECONF[5]} = "A-P" ]; then
                        echo "${SERVICECONF[0]} is Active-Passive server and shouldn't be running on a passive node"
                        echo "Killing ${SERVICECONF[0]}"
                        kill $PID
                fi
        fi
}
 
echo "Starting at $(date)"
#check the arguments
if [ "$#" -ne 1 ]; then
   echo "The argumants should have the path to the services configuration file only";
   exit;
fi
configFile=$1
IFS=''
servicesList=()
#Reading the config file lines into array
while read line; do
    configurationList+=($line)
done < $configFile
 
IFS='=' read -ra NODECONF <<< "${configurationList[0]}"
NODETYPE=${NODECONF[1]}
echo $NODETYPE
 
for ((i = 1; i < ${#configurationList[@]}; ++i)); do
        #echo $i
        echo -----------------------
        checkService ${configurationList[i]} ${NODETYPE}
done
echo "Done"

Fichier Config

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
 
NodeType=A
IOT spark job,/DATA/apps/ProcessDataSparkJob/,/DATA/apps/spark-2.3.1-bin-hadoop2.7/bin/spark-submit --class com.ocp.jfc2.iot.dataprocessor.IoTDataProcessor ProcessDataSparkJob.jar,iot.properties &> /DATA/apps/ProcessDataSparkJob/iot_run.log &,com.ocp.jfc2.iot.dataprocessor.IoTDataProcessor,A-P
Plant spark job,/DATA/apps/ProcessDataSparkJob/,/DATA/apps/spark-2.3.1-bin-hadoop2.7/bin/spark-submit --class com.ocp.jfc2.plant.dataprocessor.PlantDataProcessor ProcessDataSparkJob.jar,ProcessAndFilterDataJobs_plant.properties &> /DATA/apps/ProcessDataSparkJob/plant_run.log &,com.ocp.jfc2.plant.dataprocessor.PlantDataProcessor,A-P
JFC4 spark job,/DATA/apps/ProcessDataSparkJob/,/DATA/apps/spark-2.3.1-bin-hadoop2.7/bin/spark-submit --class com.ocp.jfc2.plant.dataprocessor.PlantDataProcessor ProcessDataSparkJob.jar,/DATA/apps/ProcessDataSparkJob/JFC4/ProcessAndFilterDataJobs_plant.properties &> /DATA/apps/ProcessDataSparkJob/JFC4_run.log &,com.ocp.jfc2.plant.dataprocessor.PlantDataProcessor,A-P
JFC3 spark job,/DATA/apps/ProcessDataSparkJob/,/DATA/apps/spark-2.3.1-bin-hadoop2.7/bin/spark-submit --class com.ocp.jfc2.plant.dataprocessor.PlantDataProcessor ProcessDataSparkJob.jar,/DATA/apps/ProcessDataSparkJob/JFC3/ProcessAndFilterDataJobs_plant.properties &> /DATA/apps/ProcessDataSparkJob/JFC3_run.log &,com.ocp.jfc2.plant.dataprocessor.PlantDataProcessor,A-P
JFC1 spark job,/DATA/apps/ProcessDataSparkJob/,/DATA/apps/spark-2.3.1-bin-hadoop2.7/bin/spark-submit --class com.ocp.jfc2.plant.dataprocessor.PlantDataProcessor ProcessDataSparkJob.jar,/DATA/apps/ProcessDataSparkJob/JFC1/ProcessAndFilterDataJobs_plant.properties &> /DATA/apps/ProcessDataSparkJob/JFC1_run.log &,com.ocp.jfc2.plant.dataprocessor.PlantDataProcessor,A-P
SIEMENS spark job,/DATA/apps/ProcessDataSparkJob/,/DATA/apps/spark-2.3.1-bin-hadoop2.7/bin/spark-submit --class com.ocp.jfc2.plant.dataprocessor.PlantDataProcessor ProcessDataSparkJob.jar,/DATA/apps/ProcessDataSparkJob/SIEMENS/ProcessAndFilterDataJobs_plant.properties &> /DATA/apps/ProcessDataSparkJob/SIEMENS_run.log &,com.ocp.jfc2.plant.dataprocessor.PlantDataProcessor,A-P
GE spark job,/DATA/apps/ProcessDataSparkJob/,/DATA/apps/spark-2.3.1-bin-hadoop2.7/bin/spark-submit --class com.ocp.jfc2.plant.dataprocessor.PlantDataProcessor ProcessDataSparkJob.jar,/DATA/apps/ProcessDataSparkJob/GE/ProcessAndFilterDataJobs_plant.properties &> /DATA/apps/ProcessDataSparkJob/GE_run.log &,com.ocp.jfc2.plant.dataprocessor.PlantDataProcessor,A-P

Merci d'avance

**N_BaH** · 07/04/2020, 17h13

Bonjour,

ton script est trop compliqué.
tu as commencé à le coder sans écrire d'algorithme avant ?

il faut respecter le KISS principle, et simplifier :

Code pseudo-code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
tantQue lire ligne fichierConf
faire
    si nbLigne == 1
    alors
        nodeype=ligne
    autre
        décoper ligne morceauxLigne
        pgrep morceauxLigne[n] || executer morceauxLigne[n]
    finSi
finTantQue

en gros, n'est-ce pas.
mais ça ne doit pas être beaucoup plus compliqué.

**andyajram** · 07/04/2020, 17h28

Bonjour,
c'est pas moi qui a écrit ce script , c'était la personne que administré la plateforme avant moi , et a cette époque là il y'avait juste les deux services mais après on a ajouté d'autres services , et pour les ajouter au script et pouvoir les démarrer automatiquement , je voulais les ajouter au même script , mais ça n'a pas marché comme tu vois

**Flodelarab** · 07/04/2020, 22h06

Bonjour

Si le procédé ne va pas au bout, c'est souvent qu'il a planté. À toi de déboguer, et trouver à quel moment ça coince.

**andyajram** · 07/04/2020, 22h09

Je n'ai aucune notion en script Shell c'est pour ça je suis venu consulter les experts .

**N_BaH** · 07/04/2020, 22h44

outre son inutile complexité, le script est syntaxiquement correct : il s'exécute sans autres erreurs que les dossiers et fichiers spécifiés dans le fichier de conf, qui ne sont pas trouvés - normal.

les jar fonctionnent quand ils sont exécutés "à la main" ?

**andyajram** · 07/04/2020, 22h48

Oui tout marche quand ça s'exécute séparément , le script est juste pour que quand ta un problème sur le serveur et que les services sont down , il pourra les faire démarrer sans que je n'intervienne comme il fait pour les deux première lignes et ils se trouvent dans le même dossier a part les fichiers .properties que j'ai mentionné leurs dossier

**N_BaH** · 07/04/2020, 23h18

le script est exécuté automatiquement, c'est ça ?
il y a peut-être des "traces" de son exécution dans les logs du processus qui l'exécute ?...

et, quand tu l'exécutes (encore "à la main"), il y a des messages d'erreurs ?

**andyajram** · 07/04/2020, 23h21

Le script s'exécute automatiquement et dans le log ça donne que les deux Spark job (les deux premiers services) sont démarrés , mais il fait comme si les autres lignes n'existent pas , je ne sais pas si ya des variables dans le script qui indiquent qu'il ya juste deux services ou je ne sais pas quoi

**N_BaH** · 07/04/2020, 23h47

tu as ajouté les lignes dans le bon fichier de conf* ?

sinon, il faut débugguer le script en l'exécutant avec un -x ajouté au shebang (sur la première ligne) pour voir ce qui est traité.
fais-nous en un copier/coller, on verra si ça correspond au contenu du script...

--
*

la cordon d'alimentation électrique de l'ordinateur est bien branché sur le secteur ?

**andyajram** · 08/04/2020, 13h23

le -x doit être mis ou ?

**N_BaH** · 08/04/2020, 13h25

remplace \#!/bin/bash (pourquoi y a-t-il un antislash ?) par #!/bin/bash -x

**andyajram** · 08/04/2020, 14h43

voici le output de l'execution , mais le problème c'est que les autres services ne sont pas démarrés mais ils montre qu'ils sont démarrés :/

Starting at Wed Apr 8 13:42:04 +01 2020
A
-----------------------
IOT spark job RUNNING
-----------------------
Plant spark job RUNNING
-----------------------
JFC4 spark job RUNNING
-----------------------
JFC3 spark job RUNNING
-----------------------
JFC1 spark job RUNNING
-----------------------
SIEMENS spark job RUNNING
Done

**N_BaH** · 08/04/2020, 14h57

ça ne ressemble pas à une "trace" d'exécution.

Envoyé par help set

-x Affiche les commandes et leurs arguments au moment de leur exécution.

les autres services ne sont pas démarrés mais ils montre qu'ils sont démarrés :/

il manque des guillemets autour du $PID.
alors, le test ne teste que la chaîne effectivement présente -z !

**andyajram** · 08/04/2020, 14h59

dans le cron.log voici le resultat

++ date
+ echo 'Starting at Wed Apr 8 13:55:01 +01 2020'
Starting at Wed Apr 8 13:55:01 +01 2020
+ '[' 1 -ne 1 ']'
+ configFile=/DATA/scripts/EIBServicesManager/servicesConfig.conf
+ IFS=
+ servicesList=()
+ read line
+ configurationList+=($line)
+ read line
+ configurationList+=($line)
+ read line
+ configurationList+=($line)
+ read line
+ configurationList+=($line)
+ read line
+ configurationList+=($line)
+ read line
+ configurationList+=($line)
+ read line
+ configurationList+=($line)
+ read line
+ IFS==
+ read -ra NODECONF
+ NODETYPE=A
+ echo A
A
+ (( i = 1 ))
+ (( i < 7 ))
+ echo -----------------------
-----------------------
+ checkService 'IOT spark job,/DATA/apps/ProcessDataSparkJob/,/DATA/apps/spark-2.3.1-bin-hadoop2.7/bin/spark-submit --class com.ocp.jfc2.iot.dataprocessor.IoTDataProcessor ProcessDataSparkJob.jar,iot.properties &> /DATA/apps/ProcessDataSparkJob/iot_run.log &,com.ocp.jfc2.iot.dataprocessor.IoTDataProcessor,A-P' A
+ IFS=,
+ read -ra SERVICECONF
++ pgrep -f com.ocp.jfc2.iot.dataprocessor.IoTDataProcessor
+ PID=1665
+ '[' -z 1665 ']'
+ echo 'IOT spark job RUNNING'
IOT spark job RUNNING
+ '[' A = P -a A-P = A-P ']'
+ (( ++i ))
+ (( i < 7 ))
+ echo -----------------------
-----------------------
+ checkService 'Plant spark job,/DATA/apps/ProcessDataSparkJob/,/DATA/apps/spark-2.3.1-bin-hadoop2.7/bin/spark-submit --class com.ocp.jfc2.plant.dataprocessor.PlantDataProcessor ProcessDataSparkJob.jar,ProcessAndFilterDataJobs_plant.properties &> /DATA/apps/ProcessDataSparkJob/plant_run.log &,com.ocp.jfc2.plant.dataprocessor.PlantDataProcessor,A-P' A
+ IFS=,
+ read -ra SERVICECONF
++ pgrep -f com.ocp.jfc2.plant.dataprocessor.PlantDataProcessor
+ PID=38989
+ '[' -z 38989 ']'
+ echo 'Plant spark job RUNNING'
Plant spark job RUNNING
+ '[' A = P -a A-P = A-P ']'
+ (( ++i ))
+ (( i < 7 ))
+ echo -----------------------
-----------------------
+ checkService 'JFC4 spark job,/DATA/apps/ProcessDataSparkJob/,/DATA/apps/spark-2.3.1-bin-hadoop2.7/bin/spark-submit --class com.ocp.jfc2.plant.dataprocessor.PlantDataProcessor ProcessDataSparkJob.jar,/DATA/apps/ProcessDataSparkJob/JFC4/ProcessAndFilterDataJobs_plant.properties &> /DATA/apps/ProcessDataSparkJob/JFC4_run.log &,com.ocp.jfc2.plant.dataprocessor.PlantDataProcessor,A-P' A
+ IFS=,
+ read -ra SERVICECONF
++ pgrep -f com.ocp.jfc2.plant.dataprocessor.PlantDataProcessor
+ PID=38989
+ '[' -z 38989 ']'
+ echo 'JFC4 spark job RUNNING'
JFC4 spark job RUNNING
+ '[' A = P -a A-P = A-P ']'
+ (( ++i ))
+ (( i < 7 ))
+ echo -----------------------
-----------------------
+ checkService 'JFC3 spark job,/DATA/apps/ProcessDataSparkJob/,/DATA/apps/spark-2.3.1-bin-hadoop2.7/bin/spark-submit --class com.ocp.jfc2.plant.dataprocessor.PlantDataProcessor ProcessDataSparkJob.jar,/DATA/apps/ProcessDataSparkJob/JFC3/ProcessAndFilterDataJobs_plant.properties &> /DATA/apps/ProcessDataSparkJob/JFC3_run.log &,com.ocp.jfc2.plant.dataprocessor.PlantDataProcessor,A-P' A
+ IFS=,
+ read -ra SERVICECONF
++ pgrep -f com.ocp.jfc2.plant.dataprocessor.PlantDataProcessor
+ PID=38989
+ '[' -z 38989 ']'
+ echo 'JFC3 spark job RUNNING'
JFC3 spark job RUNNING
+ '[' A = P -a A-P = A-P ']'
+ (( ++i ))
+ (( i < 7 ))
+ echo -----------------------
-----------------------
+ checkService 'JFC1 spark job,/DATA/apps/ProcessDataSparkJob/,/DATA/apps/spark-2.3.1-bin-hadoop2.7/bin/spark-submit --class com.ocp.jfc2.plant.dataprocessor.PlantDataProcessor ProcessDataSparkJob.jar,/DATA/apps/ProcessDataSparkJob/JFC1/ProcessAndFilterDataJobs_plant.properties &> /DATA/apps/ProcessDataSparkJob/JFC1_run.log &,com.ocp.jfc2.plant.dataprocessor.PlantDataProcessor,A-P' A
+ IFS=,
+ read -ra SERVICECONF
++ pgrep -f com.ocp.jfc2.plant.dataprocessor.PlantDataProcessor
+ PID=38989
+ '[' -z 38989 ']'
+ echo 'JFC1 spark job RUNNING'
JFC1 spark job RUNNING
+ '[' A = P -a A-P = A-P ']'
+ (( ++i ))
+ (( i < 7 ))
+ echo -----------------------
-----------------------
+ checkService 'SIEMENS spark job,/DATA/apps/ProcessDataSparkJob/,/DATA/apps/spark-2.3.1-bin-hadoop2.7/bin/spark-submit --class com.ocp.jfc2.plant.dataprocessor.PlantDataProcessor ProcessDataSparkJob.jar,/DATA/apps/ProcessDataSparkJob/SIEMENS/ProcessAndFilterDataJobs_plant.properties &> /DATA/apps/ProcessDataSparkJob/SIEMENS_run.log &,com.ocp.jfc2.plant.dataprocessor.PlantDataProcessor,A-P' A
+ IFS=,
+ read -ra SERVICECONF
++ pgrep -f com.ocp.jfc2.plant.dataprocessor.PlantDataProcessor
+ PID=38989
+ '[' -z 38989 ']'
+ echo 'SIEMENS spark job RUNNING'
SIEMENS spark job RUNNING
+ '[' A = P -a A-P = A-P ']'
+ (( ++i ))
+ (( i < 7 ))
+ echo Done
Done

**N_BaH** · 08/04/2020, 15h04

et on voit, dans la trace, que pgrep teste toujours la même chaîne quelle que soit la commande dans le fichier de conf.

**andyajram** · 08/04/2020, 15h07

et qu'elle ne fait qu'afficher le echo , elle ne démarre rien en effet :/ c'est ça ?

**N_BaH** · 08/04/2020, 15h10

puisqu'il y a un PID, le service est censé être démarré, en effet.
alors, il affiche correctement le message qui dit que le service est démarré.
mais c'est toujours le même service qui est testé, puisque c'est la même information qui est passée à pgrep, qui se réfère au premier service comportant cette information, qui, lui, est probablement démarré...

**andyajram** · 08/04/2020, 15h12

bref j’abandonne tout ça , je préfère le démarrer manuellement que de me casser la tête avec tout ça , merci en tout cas pour ton temps

Script Shell qui ne démarre pas toutes les commandes

Shell et commandes GNU

Discussions similaires

Partager

Partager