Discussion :

[ybennani]

Bonjour,

je developpe une application en JAVA et je dois générer un fichier XML à partir d'un fichier plat qui peut atteindre 200Mo.
et je ne sais pas comment je peux le faire sans exploser la mémoire.

est ce que quelqu'un a une idée pour faire ça svp?

[leyee]

Fais un petit tour dans la faq, tu trouveras des infos sur les api permettantde manipuler du DOM.

[ybennani]

j'en ai fai un truc du genre:

je crée mon document

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
 
DocumentBuilderFactory dbf = DocumentBuilderFactory.newInstance();
try {
            //get an instance of builder
            DocumentBuilder db = dbf.newDocumentBuilder();
 
            //create an instance of DOM
            dom = db.newDocument();
 
 }

je remplie mon document au fur et à mesure que ke lit mon fichier plat et tout à la fin que je sérialize mon fichier

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
 OutputFormat format = new OutputFormat(dom);
  format.setIndenting(true);
   XMLSerializer serializer = new XMLSerializer(new FileOutputStream(
                    new File("result.xml")), format);
  serializer.serialize(dom);

mais ça marche pas la mémoire explose.

[coco62]

Si cela ne passe pas, tu peux si le fonctionnel le permet faire un split de ton fichier à plat , les traiter puis regrouper les flux XML.

[Morbo]

Je te propose d'ouvrir ton gros fichier avec un FileInputStream et pour chaque ligne ajouter "<ligne number="+nbline+">" au debut de la ligne et "</ligne>" à la fin.
Puis d'écrire au fur et à mesure dans un FileOutputStream le résultat.
Faudra penser a gérer l'ajout de l'entête xml et le noeud xml racine dans le FileOutputStream.
Je l'ai déja fait pour de gros fichier, ça marche bien.
Après on peut manipuler le gros xml avec SAX.

[ybennani]

je vais essayé de faire comme t as dit Morbo.

En effet je dois le faire dans les deux sens construire un fichier xml à partir d'un fichier plat et construire un fichier plat à partir d'un fichier xml.

dans le permier sens j'utilise Xerces et sax et ça marche sans problème.

dans l'autre sens je vais faire avec un FileInputStream.
j'ai une petite question:
lorsque j'ecrie dans le FileInputStream, est ce qu'il écrie le flux dans la mémoire et tout à la fin qui le met on dur, ou il l'écrit directement en dur?

Merci on tout cas

[Morbo]

Il faut ecrire dans le FileOutputStream (donc sur le dur) au fur et à mesure qu'on parcours le FileInputStream (ligne à ligne).
Donc le programme n'a en mémoire qu'une ligne à la fois.

[ybennani]

OK merci bcp.