BreakIterator et offet de Texte

Bonjour, en lisant un post, j'ai fait la jolie découverte du BreakIterator pour segmenter un texte.

Le premier problème c'est qu'on peut pas mettre tout un fichier dans le

Code:

boundary.setText()

Donc je l'ui envoie ligne par ligne.

Le deuxième c'est qu'il me faut une boucle d'arrêt et un des moyens simples serait de savoir l'offset de fin du fichier, car je gère les offsets de chaque mots du coup je sais ou j'en suis.

Mais je sais pas comment on peut savoir l'offset de fin de fichier ?

Merci d'avance

-Fanz-

Comment tu parcours ton fichier ? Tu pourrais nous montrer le code ?

En fait j'ai trouvé
j'avais déjà une méthode je le savais pas, je travaille sur une apply déjà existante à l'origine.

Maintenant le problème c'est que mes offsets sont pas bon car quand je clique sur un mot je récupère un bout de phrase dans lequel il apparaît, mais c'est pas le bon bout.....

Voilà mon code pour la segementation :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
public void segmentByBreak() throws IOException 
{ 	
 
	BreakIterator boundary = BreakIterator.getWordInstance();
	FileIn fi = new FileIn(this.rsot.getListOfTexts().elementAt(0).elementToStringForFile(),RandomSetOfTexts.encoding);
	String lineBuffer=null;	
	rsot.initSeqFile(0);
	int position=rsot.currentOffsetBasis; 
	//saut du bom
	int bom=rsot.currentOffsetBasis-rsot.currentTextBeginning;
	if (bom>0)fi.readNChar(bom);	
 
	try 
	{ 
		while(position<rsot.length())
		{ 
			lineBuffer=fi.readLine(); 
	        boundary.setText(lineBuffer);
	        addEachForward(boundary, lineBuffer,position);
 
			if(lineBuffer==null 
					||position==(Util.lengthInBytes(lineBuffer)))
			{  
				lineBuffer=fi.readLineWithCount();
 
			} 	
			position+=lineBuffer.length();
			System.out.println(position+"  "+rsot.length());
			//if(position ==196072)break;
		}  
	}

Et voici celle ou je traite chaque ligne :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
private  void addEachForward(BreakIterator boundary, String source, int pos) {
    int start = boundary.first(),posBegin= 0,posEnd=0,posBeginWord=0,posEndWord=0;
    String word = null,tmp = null;
    StringTokenizer st;
    String delim = "?.,;':- ()[]_=+*/!\\\"%¡";
    for (int end = boundary.next();end != BreakIterator.DONE;start = end, end = boundary.next()) 
    {
    	word =source.substring(start,end);
    	posEnd = pos+boundary.current() ;
    	posBegin = posEnd-word.length() ;
    	if(!word.equals("null"))
    	{
    		st = new StringTokenizer(word,delim);
    		while(st.hasMoreTokens())
    		{
    			tmp = st.nextToken().trim();
    			if(tmp.length()!=0)//&& !tmp.equals("?"))//delim.indexOf(tmp)==-1)
    			{
    				posBeginWord=posBegin+word.indexOf(tmp);
    				posEndWord= posBeginWord+tmp.length() ;
    				System.out.println(tmp);
    				copeWithWordByBreak(tmp, new OffsetPair(posBeginWord,posEndWord));
    			}
    		}
    	}
    }
}