[Lucene] Lucene et les accents bis

Version imprimable

29/07/2008, 11h06
link256

[Lucene] Lucene et les accents bis

Je fais suite au post intitulé [Lucene] Lucene et les accents

qui ne répond pas à la question malgrès sont état résolut et que d'autre personne se pose la question comme djaize par exmple.

après mes debuts de recherche ou plutot de constat en utilisant le frenchAnalyser sur une table assez conséquente et remplie de tout et n'importe quoi.

si je recherche le mot lumiere ou lumiére le résultat est : (lumiere, lumieres, lumiére, lumiéres,Lumiere, Lumieres, Lumiére, Lumiéres)

le è est totalement exclusif lumière le résultat est : (lumière , lumières,Lumière,Lumières)

ici les résultat en majuscule sont totalement ignoré

lumi?re ramène exclusivement les résultats en majuscule (LUMIERE,LUMIÈRE) pas de pluriel (peut être que le cas n'est pas présent ds mes tables).

lumiere~ renvoie l'ensemble des résultat précedent et même plus comme le disait djaize.

je vais voir si l'on peut configurer ca en esperant que oui et si vous avancez aussi la dessus je suis preneur.

merci

Avant tout j'ai trouve un forum consacre à Lucene

http://www.nabble.com/Lucene---Java-Users-f45.html

J'ai résolu mon problème de recherche d'accent en modifiant le FranchAnalyser comme suit :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
/**
   * Creates a TokenStream which tokenizes all the text in the provided Reader.
   *
   * @return A TokenStream build from a StandardTokenizer filtered with
   *         StandardFilter, StopFilter, FrenchStemFilter and LowerCaseFilter
   */
  public final TokenStream tokenStream(String fieldName, Reader reader) {
 
    if (fieldName == null) throw new IllegalArgumentException("fieldName must not be null");
    if (reader == null) throw new IllegalArgumentException("reader must not be null");
 
    /* initialisation du token */
    TokenStream result = new StandardTokenizer(reader);
     result = new StandardFilter(result);
     result = new StopFilter(result, stoptable);      
    result = new FrenchStemFilter(result, excltable);
    // Convert to lowercase after stemming!
    result = new LowerCaseFilter(result);
    return result;
  }

par

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
/**
   * Creates a TokenStream which tokenizes all the text in the provided Reader.
   *
   * @return A TokenStream build from a StandardTokenizer filtered with
   *         StandardFilter, StopFilter, FrenchStemFilter and LowerCaseFilter
   */
  public final TokenStream tokenStream(String fieldName, Reader reader) {
 
    if (fieldName == null) throw new IllegalArgumentException("fieldName must not be null");
    if (reader == null) throw new IllegalArgumentException("reader must not be null");
 
    /* initialisation du token */
    TokenStream result = new StandardTokenizer(reader);
    /* on retire apostrophe*/
    result = new StandardFilter(result);
    /* on retire article adjectif */
    result = new StopFilter(result, stoptable);
 
    result = new ISOLatin1AccentFilter(result);
 
    result = new FrenchStemFilter(result, excltable);
    // Convert to lowercase after stemming!
    result = new LowerCaseFilter(result);
    return result;
  }

en ajoutant la ligne ISOLatin1AccentFilter j'ai réindexé mes données puis recommencer la recherche et la miracle plus de problème

07/10/2009, 10h25
djaize
Bonjour à tous,

je suis tombé sur ce post 1 an après le mien.
La solution que j'ai mise en place est différente de celle proposée par "link256".
Après avoir épluché ce même forum anglophone (nabble), j'ai fait le choix de :
- Ne pas modifier le code "Lucene", ainsi, les modifications n'ont pas a être reportées dans une nouvelle version disponible au téléchargement.
- Récupérer le traitement effectué par le ISOLatin1AccentFilter et l'appliquer directement dans mon code
Au final, je suis plutôt satisfait: je peux migrer facilement dans une nouvelle version de Lucene, et de plus, j'ai la main sur le traitement de transformation des caractères que j'ai pu adapter aux spécificités "métiers" de mon outils.

Voili voilou

Olivier