Texte préformaté en JAVA

Version imprimable

Bonjour,
Mon but est de lire dans un fichier texte et de détecter des noms de personnes ou compagnie qui se trouvent dans des dictionnaires xml. Ces fichiers xml sont préformatés comme cela :
Code:

1 2 3 4 5 6 7 8 9 10 <inst type="Person" normalized="Annette Knardahl Ruud "> <alt>Annette Knardahl Ruud</alt> </inst> <inst type="Person" normalized="Annette Knutsdotter Medhus "> <alt>Annette Knutsdotter Medhus</alt> </inst> <inst type="Person" normalized="Annette Kuhn "> <alt>Annette Kuhn</alt> </inst>
Mon objectif est de récupéré le type, la version normalizé et la version alternative, si dans le texte on détecte la version alternative d'un mot alors celui-ci devient la version normalisé. Mais le problème n'est pas la.
Ma question est : comment peut-on récupérer ce triplet ?
J'ai bien pensé au pattern mais j'ai un dictionnaire conséquent, ça risque d'être long. Si utiliser les regex est le seul moyen, quelle est la pattern à utiliser ?

merci d'avance

10/11/2006, 14h58
Faiche

tu jettes un coup d oeil aux tutos de ce site sur les lib xml de java, c'est fait pour rouler tout seul.

Merci, j'ai réussi à extraire les concepts de ces fichiers XML. Le problème c'est que j'ai environ 300000 concepts à extraire, je les place dans une liste. Le problème c'est qu'à partir du 250000 concepts, java me spécifie une erreur de mémoire.
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 int k=0; for(int j=0;j<l.nbDocument();j++){ try { System.out.println(l.getVector().get(j).toString()); document = sxb.build(new File(l.getVector().get(j).toString())); } catch(Exception e){} this.racine = document.getRootElement(); List list = racine.getChildren("inst"); Iterator i = list.iterator(); while(i.hasNext()) { Element courant = (Element)i.next(); listNormalizedAndAlt.add(k, courant.getAttributeValue("normalized")+"|"+courant.getChild("alt").getText()); listOfType.add(k,courant.getAttributeValue("type")); k++; } }
Que dois-je faire pour ne plus avoir ce problème de mémoire ?
J'ai fait un test sur environ 100 000 concepts, je dois les comparer à un fichier ttexte pour cela j'utilise les patterns, problème ça prend énormément de temps...Avez-vous une autre solution que les regex?

Merci d'avance

12/11/2006, 04h53
broumbroum

[SUIVRE] -> un sujet sur le cache mémoire d'IBM cela dit...
:roll:
12/11/2006, 14h23
leneuf

Merci pour cette réponse, avez-vous une idée pour cette question : J'ai fait un test sur environ 100 000 concepts, je dois les comparer à un fichier ttexte pour cela j'utilise les patterns, problème ça prend énormément de temps...Avez-vous une autre solution que les regex?
12/11/2006, 15h05
afrikha

Citation:

Envoyé par leneuf

Merci pour cette réponse, avez-vous une idée pour cette question : J'ai fait un test sur environ 100 000 concepts, je dois les comparer à un fichier ttexte pour cela j'utilise les patterns, problème ça prend énormément de temps...Avez-vous une autre solution que les regex?

Montre-nous le code concernant la comparaison avec le fichier .

Voici ma méthode pour lire dans le fichier et comparer. Ca compte aussi le nombre d'occurence de ce mot.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
	  public void search(String s) throws IOException{
		pattern = Pattern.compile(s);
	  	String line = a.readLine() ;
  	    while (line != null) {
  	    	m = pattern.matcher(line) ;
  	    while(m.find()){
  	      	for(int i=0; i<=m.groupCount(); i++) {
		 	  if(counts.containsKey(m.group(i))){
  	          ((Counter)counts.get(m.group(i))).increment();}
  	        else{
  	          counts.put(m.group(i), new Counter());}
 
  	      	}
  	      }
  	      line = a.readLine() ;
	 	}
	 }

Code + optimisé :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
public void search(String s) throws IOException{
   pattern = Pattern.compile(s);
   String line = a.readLine() ;
   while (line != null) {
      m = pattern.matcher(line) ;
      while (m.find()) {
         for (int i=0 /* 0 ou 1 ? */, size = m.groupCount(); i <= size; i++) {
            String group = m.group(i);
            Counter counter = (Counter) counters.get(group);
            if (counter != null) {
  	       counter.increment();
            } else {
  	       counters.put(group, new Counter());
            }
         }
      }
      line = a.readLine() ;
   }
}

13/11/2006, 00h23
leneuf

meci pour cette optimisation mais ça ne résoud pas mon problème. j'ai 300 000 concepts à comparer à du texte. y a-t-il moyen d'aller plus vite ou c'est normal?