Discussion :

[fanzyride]

Bonjour, en lisant un post, j'ai fait la jolie découverte du BreakIterator pour segmenter un texte.

Le premier problème c'est qu'on peut pas mettre tout un fichier dans le

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

boundary.setText()

Donc je l'ui envoie ligne par ligne.

Le deuxième c'est qu'il me faut une boucle d'arrêt et un des moyens simples serait de savoir l'offset de fin du fichier, car je gère les offsets de chaque mots du coup je sais ou j'en suis.

Mais je sais pas comment on peut savoir l'offset de fin de fichier ?

Merci d'avance

-Fanz-

[chtig]

Comment tu parcours ton fichier ? Tu pourrais nous montrer le code ?

[fanzyride]

En fait j'ai trouvé
j'avais déjà une méthode je le savais pas, je travaille sur une apply déjà existante à l'origine.

Maintenant le problème c'est que mes offsets sont pas bon car quand je clique sur un mot je récupère un bout de phrase dans lequel il apparaît, mais c'est pas le bon bout.....

Voilà mon code pour la segementation :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
public void segmentByBreak() throws IOException 
{ 	
 
	BreakIterator boundary = BreakIterator.getWordInstance();
	FileIn fi = new FileIn(this.rsot.getListOfTexts().elementAt(0).elementToStringForFile(),RandomSetOfTexts.encoding);
	String lineBuffer=null;	
	rsot.initSeqFile(0);
	int position=rsot.currentOffsetBasis; 
	//saut du bom
	int bom=rsot.currentOffsetBasis-rsot.currentTextBeginning;
	if (bom>0)fi.readNChar(bom);	
 
	try 
	{ 
		while(position<rsot.length())
		{ 
			lineBuffer=fi.readLine(); 
	        boundary.setText(lineBuffer);
	        addEachForward(boundary, lineBuffer,position);
 
			if(lineBuffer==null 
					||position==(Util.lengthInBytes(lineBuffer)))
			{  
				lineBuffer=fi.readLineWithCount();
 
			} 	
			position+=lineBuffer.length();
			System.out.println(position+"  "+rsot.length());
			//if(position ==196072)break;
		}  
	}

Et voici celle ou je traite chaque ligne :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
private  void addEachForward(BreakIterator boundary, String source, int pos) {
    int start = boundary.first(),posBegin= 0,posEnd=0,posBeginWord=0,posEndWord=0;
    String word = null,tmp = null;
    StringTokenizer st;
    String delim = "?.,;':- ()[]_=+*/!\\\"%¡";
    for (int end = boundary.next();end != BreakIterator.DONE;start = end, end = boundary.next()) 
    {
    	word =source.substring(start,end);
    	posEnd = pos+boundary.current() ;
    	posBegin = posEnd-word.length() ;
    	if(!word.equals("null"))
    	{
    		st = new StringTokenizer(word,delim);
    		while(st.hasMoreTokens())
    		{
    			tmp = st.nextToken().trim();
    			if(tmp.length()!=0)//&& !tmp.equals("?"))//delim.indexOf(tmp)==-1)
    			{
    				posBeginWord=posBegin+word.indexOf(tmp);
    				posEndWord= posBeginWord+tmp.length() ;
    				System.out.println(tmp);
    				copeWithWordByBreak(tmp, new OffsetPair(posBeginWord,posEndWord));
    			}
    		}
    	}
    }
}