Spring-batch : chunck et multi-threading

bonjour,

j'utilise spring-batch pour traiter de gros fichiers xml.

Pour cela je traite les fichiers par lots (chunck) et j'utilise le multi-threading (TaskExecutor).

Mon reader est StaxEventItemReader. Mais ce dernier n'est pas safe-thread et j'ai des erreurs du type :

org.springframework.batch.item.NonTransientResourceException: Error while reading from event reader
AVERTISSEMENT: ItemStream was opened in a different thread. Restart data could be compromised.

Comment puis-je faire du multi-threading en utilisant StaxEventItemReader ?

merci pour vos reponses

Bonjour,
Le multi-threading n'est utile que si les différents threads peuvent faire plusieurs choses en même temps. Dans le cas de figure d'une lecture sur fichier, pour lequel la ressource est unique, la parallélisation ne va pas accélérer la lecture. Ma remarque n'indique pas que votre batch ne gagnera pas en performance, car le processor et le writer pourraient bénéficier de cette parallélisation. Par contre, il ne devrait pas gagner en performance si c'est la lecture qui représente la plus grande partie du temps de traitement.

Ceci dit, j'imagine (sans l'avoir testé faute d'un cas concret posant problème) qu'il est possible de tenter de faire un Reader qui soit thread-safe sur une idée de ce genre :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

public class SyncStaxEventItemReader<T> extends StaxEventItemReader<T> { @Override protected synchronized T doRead() throws Exception { return super.doRead(); }   @Override protected synchronized void doOpen() { try { super.doOpen(); } catch (Exception e) { // ignore the error } } }

---

D'autres méthodes doivent probablement être synchronisées si d'autres erreurs surviennent.
Ce code n'est pas très élégant, mais la resource du StaxEventItemReader étant privée (et aucun getter ne permettant d'y accéder), il n'est pas possible (hors réflexivité) d'utiliser un code moins moche comme :

Code:

---

1 2 3 4 5 6

@Override protected synchronized void doOpen() { if(!this.resource.isOpen()){ super.doOpen(); } }

---

Il faut de plus être conscient que multi-threader la lecture exclut la possibilité d'utiliser les mécanismes de restart du batch (ou du moins Spring déconseille fortement d'utiliser les deux). Si il est acceptable de ne pas pouvoir reprendre le traitement au point où il en était, le code proposé ci-dessus (moyennant des tests et du debug), devrait peut être pouvoir vous aider.

En espérant avoir proposé une piste de réflexion (à défaut d'une solution parfaite).

Patrick