Enregistrement de fichier très gros

Bonjour,

Je voudrais enregistrer un fichier XML avec JDom de plus de 600.000 lignes. Mais lors de l'enregistrement, mon programme se bloque. Voici la méthode que j'utilise pour enregistrer mon fichier:

Code:

---

1 2 3 4

private void serialisationXML(Document doc) throws FileNotFoundException, IOException{ XMLOutputter out = new XMLOutputter(Format.getPrettyFormat()); out.output(doc, new FileOutputStream("xml output.xml")); }

---

Je pense que c'est un problème de mémoire car tout marche très bien des que je prends un fichier moins conséquent.

Avez vous une solution?

Merci d'avance

J'en doute. Un programme ne "se bloque" que quand il y a deadlock ou boucle infinie, ce qui a peu de chances d'arriver par la faute de JDOM ou de son écriture sur disque.

À mon avis, ton programme ne se bloque pas, il plante et affiche une exception. Il faut nous montrer laquelle. Ce pourrait être une erreur d'IO, et éventuellement un dépassement de mémoire, mais pour 600.000 lignes j'en doute.

Je pense avoir trouver la bloucle infine. Elle est dans la méthode printContentRange de la classe XMLOutputter. Est ce que ça peut etre un bug sur l'API JDom?

Si tu as pas une exception StackOverflow, il y a peu de chances. Essaie déjà avec un fichier un peu plus petit.

Je n'ai pas d'exception. Je pense etre bloqué dans une boucle infini.

@_skip:
Lorsque j'essaye avec un petit fichier, tout marche très bien.

Marrant. Tu as peut-être vraiment trouvé un bug de JDOM. Il y a aucun moyen de nous filer la même chose pour qu'on voit si on a le problème ?

En essayant de vous creer la meme chose, j'ai réussi à lever une exception. Comme je m'y attendais, j'ai un OutOfMemoryError. Par contre je ne comprends pas pourquoi je n'ai pas cette application dans mon programme.

Edit: J'ai augmenté la taille de la JVM et tout marche bien. Je n'ai donc pas trouvé de bug dans JDom :D

Quand on manipule d'aussi grosse quantité de données, il peut être intéressant de considérer des streaming API plutôt que du DOM? Parce qu'augmenter la taille mémoire à 128m, ça va marcher jusqu'au jour où il te faudra 129.

Citation:

---

Envoyé par _skip

Quand on manipule d'aussi grosse quantité de données, il peut être intéressant de considérer des streaming API plutôt que du DOM? Parce qu'augmenter la taille mémoire à 128m, ça va marcher jusqu'au jour où il te faudra 129.

---

C'est pas 128m qu'il me faut mais 500m :aie:

Citation:

---

Envoyé par tupac25

C'est pas 128m qu'il me faut mais 500m :aie:

---

.. Lis entre les lignes :aie:, si c'est pas 129 ce sera 501 ou 513. Le mieux serait peut être que tu prévois ça autrement, enfin c'est toi qui sait :ccool:

Le fait d'utiliser une streaming API ne va t il pas ralentir mon programme? Et qu'elles sont les avantages et les inconvénients de ces API?

Citation:

---

Envoyé par tupac25

Le fait d'utiliser une streaming API ne va t il pas ralentir mon programme?

---

Non, sauf en circonstances complexes, c'est le contraire.
La plupart du temps elles sont bien plus rapides, et elles occupent toujours beaucoup moins de mémoire.

Citation:

---

Envoyé par tupac25

Et qu'elles sont les avantages et les inconvénients de ces API?

---

Avantages :
- Elles ne chargent pas les données en mémoire. Elles lisent et écrivent les fichiers à la volée.
- Donc la mémoire ne contient que ce qui nous intéresse, pas le Document entier. Et en fait, si on lit et écrit en même temps, la mémoire n'est utilisée que temporairement.
- On lit, traite et écrit en même temps. Ça évite de faire trois étape charger en mémoire / traiter / sérialiser la mémoire. Plus rapide.

Inconvénients :
- Elles ne chargent pas les données en mémoire. Elles lisent et écrivent les fichiers à la volée.
- On n'a pas à sa disposition le document entièrement chargé, il faut réagir en ligne à des événements de lecture, ou générer en ligne des événements d'écriture. C'est plus compliqué et bien moins souple.
- Le XPath n'est donc pas possible, et on ne peut pas faire de transformation XSLT comme ça, par exemple.

C'est bien ce qu'il me faut :ccool:

Laquelle vous me conseillé? (s'il y en a plusieurs)

En attendant je vais faire un tour vers StAX.