Discussion :

[lasnico37]

Bonjour à tous,

j'ai un batch qui prend 1 à n fichiers (40 maximum) XML en entrée. Lorsque le fichier est > 800Mo, j'obtiens "java.lang.OutOfMemoryError: Java heap space". Sur le serveur de bench ou le batch tourne, le lanceur du batch a été modifié pour prendre en compte 2Go de mémoire. Mais ça ne passe toujours pas.

Le reader est de ce type :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
 
<bean id="multiResourceReader" class=" org.springframework.batch.item.file.MultiResourceItemReader" scope="step">
		<property name="resources" value="#{jobParameters['inputResource']}" />
	 	<property name="delegate" ref="pivotItemReader" />
    </bean>
	<bean id="pivotItemReader" class="org.springframework.batch.item.xml.StaxEventItemReader">
    	<property name="fragmentRootElementName" value="Diffusion" />
    	<property name="unmarshaller" ref="diffusionmarshaller" />
	</bean>

Comment gérer ces gros fichiers XML sans pour autant casser tout le code Java derrière ?

Précision qui a son importance : je débute sur Spring Batch, ce premier composant a été ma formation...

Merci pour votre aide où piste que vous pourrez m'apporter.

Cdlt,

[Lordsephiroth]

Bonjour,
Est-ce que votre fichier ressemble à ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
<rootElement>
  <diffusion>
    ...
  </diffusion>
  <diffusion>
    ...
  </diffusion>
</rootElement>

Ou à ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
<diffusion>
  <element>
    ...
  </element>
  <element>
    ...
  </element>
</diffusion>

Je reprends l'exemple de Mkyong publié à cette adresse. Notez qu'il défini le fragmentRootElement au niveau "record" et non au niveau "company". Si la configuration du fragmentRootElement avait été "company", Spring Batch aurait chargé un seul élément contenant la totalité du fichier XML.

Pourriez-vous déjà vérifier ce point ?

[lachik]

@Lordsephiroth, en définissant le fragmentRootElement au niveau "record", est-ce que la totalité du fichier est lu puis splitté ou bien cela se fait au file du fichier ?

[Lordsephiroth]

Dans l'exemple de Mkyong, en plaçant le fragmentRootElement au niveau du record, les éléments devraient être lus par lots (de la taille du commit-interval) et ne devraient pas tous être en même temps en mémoire. Dans ce cas, le reader devrait retourner une List<Record>, le(s) processeur(s) devraient s'appliquer sur un objet de type Record.

À l'inverse, si on place le fragmentRootElement au niveau "company", le reader devrait retourner une List<Company>. Comme le XML ne contient qu'un seul élément "company", cette liste ne devrait contenir qu'un seul et unique objet (qui contient donc tous le fichier, dont une très longue List<Record>).

Donc pour répondre à la question, en plaçant au niveau record, le reader devrait normalement lire le fichier séquentiellement, lots par lots (en gardant un pointeur interne sur l'emplacement courant du prochain élément à lire), et ne pas lire le fichier entier avant de faire un split.

[lachik]

Parfait @Lordsephiroth, merci pour tes explications !