Discussion :

[jadey]

Hello les gens;
Je suis en train de travailler sur un traitement pour contrôler des fichiers Excel et j'utilise pour cela l'api POI.
Mon problème provient du fait que les fichiers à contrôler sont relativement volumineux (un peu plus de 300.000 lignes en moyenne) et que cela lève une exception OutOfMemory lors la création d'un objet org.apache.poi.xssf.usermodel.XSSFWorkbook:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
try {
			workBook = new XSSFWorkbook(stringCheminDeMonFichier);
		} catch (IOException e) {
			// TODO Bloc catch auto-généré
			e.printStackTrace();
		}

Y'a t'il un moyen de lire ce fichier avec un buffer genre n lignes par n lignes ou une solution plus adéquate?

Merci pour toutes vos contributions.

[jadey]

Personne n'a une piste pour moi ?

[sinok]

Solution 1 de type bête et méchante, te permettant de garder ton code actuel:

Augmente l'espace mémoire maximum dédié à ta JVM.

Le paramètre -Xmx de la commande java permet de modifier cet espace.

ex: java -Xmx128m -jar MonJar.jar place l'espace mémoire max réservé à 128 mégas.


Solution 2 qui te fera tout recoder:

Ne plus utiliser la Usermodel API de POI mais passer sur la Streaming Usermodel API (SXSSF).

http://poi.apache.org/spreadsheet/how-to.html#sxssf

[jadey]

Users are advised to try the latest build from trunk.

C'est fiable ? Quelqu'un a déjà essayé avec ?

[sinok]

Vu que c'est en beta, je suppose que c'est fonctionnel. Par contre vu que c'est relativement récent, je doute que grand monde ait encore essayé...

Donc à toi de tester, il présentent la fonctionnalité sur leur page, donc je suppose qu'ils l'ont tout de même testé un tant soit peu.

Donc tu récupère les sources, tu lances le build ant et tu te lance dans un minimum d'essais pour voir ce que ça donne...

Si tu veux quelque chose d'un peu plus stable, mais moins commode à utiliser (ça revient à utiliser quasi directement le xml du fichier avec SAX) tu peux passer par l'Event API: http://poi.apache.org/spreadsheet/ho...l#xssf_sax_api

[jadey]

Le but c'est principalement de pouvoir lire de gros fichier.
Je penche donc pour ta deuxième solution. Je me plonge dedans (si je peux encore en avoir le temps) pour regarder si me convient.