Redémarrer un job

Version imprimable

09/03/2011, 22h51
boulet38

Redémarrer un job

Bonjour,

Il y a deux semaines, on m'a demandé de travailler sur une application utilisant Spring Batch. Après avoir bien lu la doc de Spring Batch, les tutos et compris le fonctionnement de l'application, on m'a demandé :
-Dans un premier temps, d'avoir une interface graphique permettant de relancer les jobs ayant échoué lors de leur execution (FAILED) à partir de l'endroit où ils ont planté/ou alors reprendre le traitement depuis le début.
-Dans un second temps, on devra pouvoir relancer un job FAILED que sous certaines conditions (ex: on relance un job que s'il a eu un problème pour lire un fichier ect)

Mon problème : je ne sais pas par où commencer, je n'ai pas la moindre idée de comment m'y prendre...

J'ai cru comprendre qu'il fallait rajouter l'attribut restartable=true au job (ce que j'ai fait), puis dans le code, récupérer les jobs failed, mais je ne sais pas où et comment les recuperer.
Je suppose en base, mais je ne vois meme pas où sont faites les insertions dans les tables de batch.
C'est un peu flou pour moi. Auriez-vous un exemple concret : lancement de plusieurs jobs, un échoue, ensuite, vous avez un lien sur une interface 'Redemarrer les jobs en échec', ce lien appelle une méthode qui va voir en base, puis récupère le job instance et je suppose le job execution. Puis relance le job.

Je n'ai pas trop de temps pour développer cette fonctionnalité, alors je panique un peu sachant que je ne pense pas avoir toutes les notions...

Je vous remercie d'avance pour votre aide
10/03/2011, 10h15
SamSer

Tu es sûr que tu as bien lu?

http://static.springsource.org/sprin...ml#failElement

Si spring-batch ne te permet pas de faire ce que tu veux, n'hésite pas étendre ses classes où carrément les reprendre dans ton projet pour les modifier.
10/03/2011, 15h58
aymen83

Citation:

Envoyé par boulet38

-Dans un premier temps, d'avoir une interface graphique permettant de relancer les jobs ayant échoué lors de leur execution (FAILED) à partir de l'endroit où ils ont planté/ou alors reprendre le traitement depuis le début.

pour l'interface les gars de spring batch ont développé une extension de springbatch qui s'appel spring-batch-admin qui te permet monitorer tes batchs.

Citation:

-Dans un second temps, on devra pouvoir relancer un job FAILED que sous certaines conditions (ex: on relance un job que s'il a eu un problème pour lire un fichier ect)

si tu configure ton job comme restartable, eh bah!! normalement si son status d'exit est failed alors à la prochaine exécution il reprendra là ou il a terminer la dernière fois à condition que les tables propres à spring batch soient créer dans une bd et non en mémoire
10/03/2011, 16h19
boulet38

@samSer :Merci, donc le lien vers la doc que tu m'as envoyé va me permettre de déterminer si le job va pouvoir être redémarrer ou non en fonction du exitstatus?

Mais je ne comprends pas : comment récupérer les job instances et execution d'un job FAILED? Puis les relancer?
Au départ je voudrais juste :
-récuperer des jobs qui ont FAILED (peu importe le step où ils ont échoués), puis relancer leur execution depuis le debut)

@aymen83 :
Je regarde dès que j'ai a nouveau de la dispo et je reviendrais poster.

Merci
10/03/2011, 16h26
SamSer

C'est un peu plus bas:
http://static.springsource.org/sprin...cFlowDecisions

le step est dans ton job donc tu n'as pas à te casser la tête pour tenter de récupérer quoi que ce soit...

Merci

Un peu plus de précisions :

Voici le code qui lance mes jobs :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
 
public File launchJob(File input) throws JobExecutionException {
		try {
			// Recherche du job
			Job job = getJob(input.getName());
			JobParameters params = createJobParameters(input);
			// Lancement effectif
			JobExecution je = jobLauncher.run(job, params);
 
		} catch (Exception e) {
			log.error("job plante : ", e);
		}
	}

Avec getJob() qui récupère le fichier de conf de mon job :

Code:

1
2
ctx.setConfigLocation(String.format(
					"classpath:META-INF/flux/job-%s.xml", flux));

Comment à cet endroit, récupérer les jobs failed?

10/03/2011, 17h06
SamSer

Dans ton fichier xml peut-être?

EDIT: Tout est dans la doc, je ne vois pas ce que tu ne comprends pas...

Citation:
Envoyé par boulet38
Merci

Un peu plus de précisions :

Voici le code qui lance mes jobs :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 public File launchJob(File input) throws JobExecutionException { try { // Recherche du job Job job = getJob(input.getName()); JobParameters params = createJobParameters(input); // Lancement effectif JobExecution je = jobLauncher.run(job, params); } catch (Exception e) { log.error("job plante : ", e); } }
Avec getJob() qui récupère le fichier de conf de mon job :
Code:

1 2 ctx.setConfigLocation(String.format( "classpath:META-INF/flux/job-%s.xml", flux));
Comment à cet endroit, récupérer les jobs failed?
je ne comprend pas exactement ce que tu veux faire par ce code mais dans l'objet JobExecution il y a paramètre

Code:

ExitStatus

qui te permet de reconnaitre le status avec lequel le job a terminé sont exécution (FAILED, UNKNOWN.....)

10/03/2011, 21h33
boulet38
En fait ce code lance les jobs de l'application que je dois maintenir.
La méthode launchJob est appelée lorsque l'on detecte qu'un fichier a été déposé dans un dossier nommé "entree".
Cette méthode va récupérer : le nom du fichier en entrée, en fonction de ce nom, on va appeler le xml qui definit le job et donc les steps, readers ect...
Au cours du job, le fichier est déplacé dans un dossier "traitement". Une fois traité, le fichier est supprimé.
Mais il arrive que le job echoue dans le dossier "traitement" (ex : mauvais entete, ou base indisponible ect), le job est donc failed et le fichier reste dans le dossier "traitement".

Mon objectif est d'avoir un bouton dans l'interface d'administration permettant de relancer les jobs FAILED. Il faudrait donc que je récupere l'execution de ces jobs et les params? Mais je ne sais pas comment demander à la base ces infos?
Je suis un cas desespéré... Ca vous semble logique mais j'arrive pas à comprendre...

Globalement je voudrais : sur le clic du bouton "redemarrer jobs" qu'on appelle la méthode launchJob :
Code:

1 2 3 4 5 // Recupération de tous les job failed a partir de la base // pour chaque job failed : //on le re run : JobExecution je = jobLauncher.run(job, params);
C'est une action manuelle qui doit relancer les jobs.

Ensuite, si j'arrive a relancer les jobs, il faudra que cette action manuelle permette non pas de relancer le job depuis le debut mais à partir de la méthode dans laquelle le job a failed.
Je ne suis pas très claire...
11/03/2011, 00h17
SamSer

Si j'ai bien compris, je vais partir du fait que si à la fin de ton job il y a encore un fichiers dans traitement, c'est que le fichier doit encore être traité.
Si tu ne veux pas te prendre la tête:
--->Accorde ton bouton à un nouveau job qui lis dans le dossier traitement et qui (process et) write le fichier. En gros prend juste un nouveau reader, le writer (et le processeur) devrait rester pareil.

De cette manière, tant qu'un fichier restera dans ton dossier traitement, tu pourras lancer et relancer ce job sans problème jusque quand le fichier soit traité.

Mais je ne vois plus trop l'intérêt d'utiliser spring-batch alors... Tu devrais tout de même essayer de gérer les failed au moyen des méthodes de la doc que je t'ai passé en lien, histoire d'avoir à utiliser ce bouton le moins possible.

Quand aux tuto sur le net qui parlent de spring-batch, j'en ai vu pas mal et je trouve qu'ils ne valent absolument rien... Il vaut mieux que tu te bases sur la doc et le code source de spring batch...

Bonne chance car spring batch peut être carrément saoulant parfois...
11/03/2011, 08h26
boulet38

Merciiiiiiiiiiii. Je vais faire ça dans l'apm, j'essaye de vous tenir au courant.

Petite question :
c'est vrai que l'idée du bouton c'est pas top.
Donc je me disais :
l'endroit ou mon job plante, c'est toujours le meme step (step2) :

Code:

1
2
3
4
5
6
 
<batch:job id="job" parent="jobAppli">
	<batch:step id="s1" parent="validerFormat" next="s2" />
	<batch:step id="s2" parent="contacterAppli" next="s3" />
	<batch:step id="s3" parent="traitement" />
</batch:job>

Il faudrait donc que je fasse :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
 
<batch:job id="job" parent="jobAppli">
	<batch:step id="s1" parent="validerFormat" next="s2" />
	<batch:step id="s2" parent="contacterAppli" next="decision" />
 
    <decision id="decision" decider="decider">
        <next on="FAILED" to="step2" /> //on relance le step 2 tant qu'on failed
        <next on="COMPLETED" to="step3" />// on avance
    </decision>
 
	<batch:step id="s3" parent="traitement" />
</batch:job>
 
<beans:bean id="decider" class="com.MyDecider"/>

Avec la classe Mydecider :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
 
public class MyDecider implements JobExecutionDecider {
    public FlowExecutionStatus decide(JobExecution jobExecution, StepExecution stepExecution) {
        if (appliQuiTraiteFichierIndispo) {
            return "FAILED";
//essayera donc de retraiter le step jusqu'a ce que l'appli mainframe qui traite le fichier soit dispo
        }
        else {
//sinon
            return "COMPLETED";
        }
    }
}

Qu'en pensez-vous?

11/03/2011, 12h21
SamSer

Quelque chose dans le genre mais je ne suis pas sûr que ça va fonctionner tel quel.

Peut-être que ton s2 foirera parce qu'à la base il lit dans le dossier entrée, puis le dossier traitement (si j'ai bien compris). Donc, il faut qu'à un niveau ou à un autre tu conditionnes ça.

Je penses aussi qu'il y a moyen de spécifier combien de fois un job peut recommencer, histoire de ne pas boucler à l'infini et accaparer des ressources inutiles. Seulement, je ne retrouve plus où, désolé...
21/03/2011, 10h35
jockhip12

ordonnancer un projet J2EE avev spring batch admin

J'ai un projet J2EE que je veut l'ordonnancer avec Spring Batch Admin
De façon que je veux l'exécuter automatiquement dans une periode de temps bien déterminé.
Et je veux savoir si le spring batch admin peut me fournir la possibilité d'avoir un fichier log.
Merci d'avance
=)
10/04/2013, 16h45
hadjila20

rescheduler un job

Bonjour tout le monde,
voilà j'ai un projet à réaliser qui consiste en la reprise d'un batch en utilisant spring ,quartz.
Sachat qu'on a un scheduler qui lance les batchs , on veux que se dernier reschedule les batch qui sont en états failed.
Je sais pas comment je dois faire celà sachant que je suis nivice avec tout ça et que dans tt ce que j'ai lu j'ai rien trouvé qui puisse sérieusement m'aider.

Quelqu'un aurait -il un exemple ou la manière dont il faux procéder??

Merci à tous et j'espère que y aura vraiment quelqu'un pour m'aider parce que là je suis plutôt perdu.
07/08/2014, 16h59
DAOUDAM

Citation:

Envoyé par aymen83

pour l'interface les gars de spring batch ont développé une extension de springbatch qui s'appel spring-batch-admin qui te permet monitorer tes batchs.

si tu configure ton job comme restartable, eh bah!! normalement si son status d'exit est failed alors à la prochaine exécution il reprendra là ou il a terminer la dernière fois à condition que les tables propres à spring batch soient créer dans une bd et non en mémoire

Apparamment t'as l'air de t'y connaître pourrais-tu m'expliquer comment ca marche stppppppppppppppp :) ?