Discussion :

[seawolfm]

Bonjour à tous,

J'ai une question assez simple, la réponse l'est peut être un peu moins .

Quel est le meilleur moyen de cadencer les traitements d'un batch écrit en Spring - Batch, en lui demandant de traiter au maximum X éléments par secondes ?

Sur un projet, nous avons un batch qui doit effectuer un lissage de charge sur la durée afin d'éviter de surcharger certains éléments d’infrastructure et services. Pour cela est-il possible de mettre en place un système de débit au sein de Spring-Batch.


Merci,

[Lordsephiroth]

La question est effectivement très simple.
Je n'ai jamais entendu quelqu'un souhaiter ralentir l'exécution de Spring Batch
Plus sérieusement, je n'ai pas connaissance d'un mécanisme permettant de demander à Spring Batch de se cadencer à une vitesse précise. Si elle existe, je serais ravi d'en apprendre l'existence. Une recherche Google ne m'a pas donné de résultat probant.

Comme ça, moi je réglerais la chose en implémentant un ItemWriter qui serait chargé non pas d'écrire quelque chose mais de "ralentir" l'écriture réelle. Cet ItemWriter serait appelé comme premier "delegateWriter" d'un "CompositeItemWriter". Cet ItemWriter ferait appel à une bonne vieille directive "wait" pour suspendre le thread durant un intervalle pré-défini.

Ce qui permettrait de définir facilement un traitement en chunks par minutes (imaginons le chunk est traité en 500ms, on veut lisser à 6 chunks par minute, donc 9500 ms de wait devrait faire l'affaire). Le framework Spring Batch a peut être déjà un mécanisme permettant de le faire.

Si vous sous-entendez par "lissage" de répartir le traitement sur une durée prédéfinie (par exemple lisser un nombre variable d'éléments sur 4h de traitement), là c'est un poil plus difficile, mais probablement faisable (sur DB par exemple une requête COUNT pour calculer un nombre de chunks par minutes nécessaire pour traiter en 4h, puis calculer l'intervalle d'attente). Spring Batch ne propose assurément pas ce mécanisme, le framework ne peut "deviner" le nombre d'éléments à traiter.