Discussion :

[Djobird]

Bonjour,

J'effectue quelques tests de performances avec XPath afin de voir comment je peux stocker mes données en XML. Etant donné que le fichier que je veux pouvoir parser seront potentiellement assez gros (plusieurs millions d'informations) je doute que cela soit viable mais on ne sait jamais.

Donc, je fais pour l'instant un test ou j'utilise un fichier XML contenant environ 120 000 balises. J'arrive à ouvrir mon fichier et à créer un Document Jdom avec.
Par contre, au moment d'effectuer la recherche à proprement parler avec :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
org.jdom.Element racine = document.getRootElement();
XPath xpa = XPath.newInstance("//prenom[@id='30000']");             
List results = xpa.selectNodes(racine) ;

Bah là je me prend un Java Heap space dans la tronche.

Cela m'amene à deux questions.

Déjà pourquoi ? J'aurais pensé que le problème de charger aurait lieu au moment de créer le document JDOM, mais non. Lorsque l'on fait xpa.selectNode(racine), cela ne consiste pas à faire un parcours de l'arbre Jdom ? Quels objets sont créé pour que cela prenne autant de place ?


Ensuite, est ce qu'il existe un moyen de contourner ce problème ?

[_skip]

Il me semble qu'avec un des projets contribution (contrib) tu peux faire des *soi-disants requêtes XPath* sur disque qui construiront uniquement la portion de l'arbre qui t'intéresse.

La classe à inspecter est la suivante :
org.jdom.contrib.input.scanner

Mais j'ai jamais essayé, je dis pas que c'est génial mais c'est une piste. En fait à première vue ça à l'air tout bêtement d'un filtre SAX.

Puis pour info, les disques suffisamment performants pour faire des recherches efficaces parmi des millions de noeuds XML sans index n'existent pas encore....

[Djobird]

Oui des millions ca me paraissait aussi beaucoup, c'était juste le plus pratique. Je dois pouvoir découper ca dans divers fichiers, mais je risque d'en avoir certain ayant quand plus de 100 000 données, or c'est à ce niveau que ca me plante à la figure :/

Par contre je ne trouve pas de package contrib, il me faut quelle version de JDom ?