Gestion "gros fichiers"

**Haazheel** · 03/10/2003, 14h20

Bonjour,

Je suis devant un "léger" problème...

J'ai proposé plusieurs méthodes pour transformer du XML -> format propriètaire (du texte).

Soit utilisation XSL soit directement en java...

En terme de rapidité XSL est bcp plus lent (du simple au double) mais en therme de mémoire... rien à faire... pour un document de 40Mo ca tombe out of memory (j'utilise JDOM).

Voici une des méthodes proposer :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
import java.io.IOException;
 
import javax.xml.transform.Transformer;
import javax.xml.transform.TransformerConfigurationException;
import javax.xml.transform.TransformerException;
import javax.xml.transform.TransformerFactory;
import javax.xml.transform.stream.StreamResult;
import javax.xml.transform.stream.StreamSource;
 
import org.xml.sax.SAXException;
 
public class TestCharge4 {
	public static void main(String[] args)
		throws
			TransformerException,
			TransformerConfigurationException,
			SAXException,
			IOException {
 
		TransformerFactory tFactory = TransformerFactory.newInstance();
		Transformer transformer =
			tFactory.newTransformer(new StreamSource("test.xsl"));
 
		transformer.transform(
			new StreamSource("test.xml"),
			new StreamResult("TestCharge4.txt"));
	}
}

Des suggestions ?

J'ai tenté d'augmenter la JVM mais toujours planté...

Qui arrive à gérer de "gros" document ??

Haaz

**philemon_siclone** · 03/10/2003, 14h52

Je me suis posé exactement la même question pour l'appli que je suis en train de developper et la seule solution que j'ai trouvée c'est d'utiliser ce bon vieux SAX (bon, OK, c'est pas l'idée du siècle...

).

++

**Haazheel** · 03/10/2003, 15h04

C'est ce que je suis en trian de faire mais comment tu fait quand tu veux récupérer des infos dans les noeuds frères ou pères ??? à part avoir des variables masi bon... pas super pour maintenir le code...

Haaz

**philemon_siclone** · 03/10/2003, 15h18

Je pense (j'espère) que ce que j'ai fait était un peu plus propre que simplement mettre les infos déjà rencontrées dans des variables. Mais ça peut être tout à fait valable si les traitements ne sont pas trop complexes. De toute façon, on en sort pas, il te faut un moyen de stocker l'état courant du parsage (avec eventuellement un historique des elements déjà rencontrés (mais pas tous, évidemment, sinon ça revient à reprogrammer DOM

)).

De mon coté j'avais une classe EtatCourant et quelques classes pour les elements parents. Mais peut-être que dans ton cas une solution plus légère est préférable (je ne sais pas).

++

PS : désolé, j'ai l'impression de sortir que des évidences, et de ne pas trop t'aider

**Haazheel** · 03/10/2003, 15h22

Sisisisi disons que j'était un peu content de ce que j'avias fait et j'ai du mal à me retourner verts du Sax

Merci de ton aide

Haaz

**philemon_siclone** · 03/10/2003, 15h30

Sinon, t'as entendu parler d'un truc qui s'appelle "deferredDom"? Si j'ai bien compris (je n'ai lu qu'un cours paragraphe la-dessus) ça permettrait de ne pas mettre l'arbre DOM entièrement en mémoire mais de le charger "à la demande" (i.e. seule une partie de l'arbre est en mémoire).

**Haazheel** · 03/10/2003, 16h09

Non mais dés que j'ai fini de refaire tout mon boulot avec SAX (quelle prise de tete ... tu as toi aussi 50 .compareTo dans ton code pour t'en sortir ????) j'irais voir ca !!!!

Pourquoi on a pas des PCs avec 500 milliard de mémoire ??? comme ca hop DOM et voila...

Haaz

EDIT : bon a 40 Mo avec Sax ca passe... je vais tenter de voir si j'arrive à passer quand meme avec JDOM...

**mathieu** · 03/10/2003, 22h38

oula qu'est ce que tu fait avec un fichier de 40 Mo à transformer ? c'est pas courant !

**Haazheel** · 06/10/2003, 08h42

Bah 40 Mo c'est pour le test ... sur serveur ca sera plus gros je crois...

Gesion de fichier XML dans l'administration mais on n'est pas encore sur des tailles de fichiers.

Haaz