Discussion :

[leneuf]

Bonjour,
Mon but est de lire dans un fichier texte et de détecter des noms de personnes ou compagnie qui se trouvent dans des dictionnaires xml. Ces fichiers xml sont préformatés comme cela :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
 
<inst type="Person" normalized="Annette Knardahl Ruud ">
    <alt>Annette Knardahl Ruud</alt>
 </inst>
 <inst type="Person" normalized="Annette Knutsdotter Medhus ">
    <alt>Annette Knutsdotter Medhus</alt>
  </inst>
 <inst type="Person" normalized="Annette Kuhn ">
    <alt>Annette Kuhn</alt>
</inst>

Mon objectif est de récupéré le type, la version normalizé et la version alternative, si dans le texte on détecte la version alternative d'un mot alors celui-ci devient la version normalisé. Mais le problème n'est pas la.
Ma question est : comment peut-on récupérer ce triplet ?
J'ai bien pensé au pattern mais j'ai un dictionnaire conséquent, ça risque d'être long. Si utiliser les regex est le seul moyen, quelle est la pattern à utiliser ?


merci d'avance

[Faiche]

tu jettes un coup d oeil aux tutos de ce site sur les lib xml de java, c'est fait pour rouler tout seul.

[leneuf]

Merci, j'ai réussi à extraire les concepts de ces fichiers XML. Le problème c'est que j'ai environ 300000 concepts à extraire, je les place dans une liste. Le problème c'est qu'à partir du 250000 concepts, java me spécifie une erreur de mémoire.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
 int k=0;
      for(int j=0;j<l.nbDocument();j++){
	      try
	      {
	    	  System.out.println(l.getVector().get(j).toString());
	         document = sxb.build(new File(l.getVector().get(j).toString()));
	      }
	      catch(Exception e){}
	      this.racine = document.getRootElement(); 
	      List list = racine.getChildren("inst");
 
	      Iterator i = list.iterator();
 
	      while(i.hasNext())
	      {
	         Element courant = (Element)i.next();
	         listNormalizedAndAlt.add(k, courant.getAttributeValue("normalized")+"|"+courant.getChild("alt").getText());
	         listOfType.add(k,courant.getAttributeValue("type"));
	         k++;
	      }
      }

Que dois-je faire pour ne plus avoir ce problème de mémoire ?
J'ai fait un test sur environ 100 000 concepts, je dois les comparer à un fichier ttexte pour cela j'utilise les patterns, problème ça prend énormément de temps...Avez-vous une autre solution que les regex?

Merci d'avance

[broumbroum]

[SUIVRE] -> un sujet sur le cache mémoire d'IBM cela dit...

[leneuf]

Merci pour cette réponse, avez-vous une idée pour cette question : J'ai fait un test sur environ 100 000 concepts, je dois les comparer à un fichier ttexte pour cela j'utilise les patterns, problème ça prend énormément de temps...Avez-vous une autre solution que les regex?

[afrikha]

Merci pour cette réponse, avez-vous une idée pour cette question : J'ai fait un test sur environ 100 000 concepts, je dois les comparer à un fichier ttexte pour cela j'utilise les patterns, problème ça prend énormément de temps...Avez-vous une autre solution que les regex?

Montre-nous le code concernant la comparaison avec le fichier .