Parser un gros fichier xml (>500 Mb )

Bonjour,

Voila pour commencer, j'avais commencer à parser avec JDOM pour des fichiers xml de petites tailles (<5Mb) sans aucun probleme avec Java. Mais le problème devient totalement différent avec un fichier xml de 500Mb voir >1Go.

Je voudrais eviter si possible de refaire mes fonctions qui joue avec le contenu du fichier xml. Est ce que c'est possible ?

Si non, quel outil serait le mieux adapter dans ma situation? Je cherche aussi à optimiser les performances. Je suis ouvert à tous les conseils

mon xml ressemble à :

Code:

---

1 2 3 4 5 6 7 8 9 10

<tag1>   <tag2 attribut1 attribut2 attribut 3> </tag2>   </tag1> <tag3> Text </tag3>

---

Bien sur, il y a plusieurs niveau ( pas seulement deux ) et il y a pas mal de balise 1 et 2 ( quelques centaines de milliers voir peut etre du millions)

Citation:

---

Envoyé par kenzoshin

Je voudrais eviter si possible de refaire mes fonctions qui joue avec le contenu du fichier xml. Est ce que c'est possible ?

---

Une solution mitigée est peut-être possible : commencer par éclater le gros fichier en plein de petits fichiers temporaires, et les traites tous un par un.

Si c'est envisageable, éclater le gros fichier peut se faire sans trop de difficultés avec StAX.

Sinon, ça reste possible mais pas réaliste, parce que les outils pour le faire n'existent pas, donc il faudrait les faire toi-même, et c'est infiniment plus compliqué que juste refaire tout le traitement.

Citation:

---

Envoyé par kenzoshin

Si non, quel outil serait le mieux adapter dans ma situation? Je cherche aussi à optimiser les performances. Je suis ouvert à tous les conseils

---

StAX pour sa simplicité d'utilisation, ou SAX pour sa simplicité d'intégration.

Citation:

---

StAX pour sa simplicité d'utilisation, ou SAX pour sa simplicité d'intégration.

---

Est ce que tu aurais une idée des performances ?
J'ai un fichier de >500 mb avec environ >500k de Insert à faire apres lecture du fichier XLML

Bonjour,

Citation:

---

Est ce que tu aurais une idée des performances ?

---

Oui, les performances peuvent être mesurées à partir de l'entropie de ton fichier
et des programmes mis en oeuvre.

Citation:

---

Mais le problème devient totalement différent avec un fichier xml de 500Mb voir >1Go.

---

C'est le désert ? :)

Non obstant l'idée saugrenue de vouloir faire tenir 500M voir plus dans une fichier xml :roll:, avec des tailles pareilles, il n'y a pas d'avance, il faut recourir à des méthodes ne gardant pas les données en mémoire mais les traitant au fil du flux. Donc stax ou sax.

Coté perf, ben ça pourra en tout cas pas être pire qu'un DOM qui bouffe 8G de RAM :mouarf:

Et en ce qui concerne tes insert: même chose, les faire au fur et à mesure. Ne compte de toutes façons pas sur une SGBD même de gros calibre pour savoir traiter une transaction de 500.000 opérations :aie:

Merci encore, j'ai finalement utilisé sax pour lire mon fichier XML.

aucun soucis dans la lecture mais je rencontre un autre soucis qui n'est pas lié à sax mais a hibernate ...