Discussion :

[julien_iz]

Bonjour,

Pour monter un moteur de recherche pour un site internet, je souhaiterai savoir si le principe du stemming a été correctement porté en français. En effet, la langue française comporte plus de cas particuliers que la langue anglaise, et le principe du stemming est très peu évoqué en français.

Je remercie d'avance ceux qui pourrons m'éclairer

[Graffito]

Bonjour,

Il y a 2 aspects dans le stemming :

1. les formes d'un même mot (féminin, pluriel, conjugaison),
2. les mots de la même famille.

Pour le 1), le mieux est de créer un dictionnaire en forme complète généré à partir des forme "normale" des mots (masculin, singulier, infinitif) et qui permet de faire correspondre "amusassiez" avec "amuser".

Pour le 2), ca se corse puisqu'on touche à la sémantique, on peut soit définir par dictionnaire ou algorithme (comme n premiers % des 2 mots identiques) des relations N-N entre formes normales ou faire correspondre les formes normales à des concepts, par exemple : main -> main(anatomie), main(cartes), ...

[julien_iz]

Merci beaucoup de la reponse!

Pour le premier cas qui semble le plus simple, le probleme est le fait qu'il faille tout faire a la main...?

L'ideal finalement serait d'avoir un dictionnaire deja tout feait des correspondances, car avec la methode numero 2, j'ai peur qu'elle ne soit pas entierement fiable et d'y passer beaucoup de temps pour pas grand chose.

De plus, la deuxieme methode va necessiter du calcul en permanence pour mon application.

Je dois donc creer un dictionnaire moi meme ou y'en a-t-il deja en francais de disponible? (avec des base de donnees, en arbre ou n'importe quoi, meme si un xml m'arrangerai)

[Graffito]

Pour le premier cas qui semble le plus simple, le probleme est le fait qu'il faille tout faire a la main...?

Il faut :
a) à la base un dictionnaire des noms, adjectifs et verbes (je ne sais pas où le trouver sur le net autre chose que des listes de mots sans autres caractéristiques).
b) dévelloper les algorithmes générant les pluriels, féminins et les conjugaisons (ce qui représente 3 à 6 semaines de travail).

[julien_iz]

Si cette liste n'a pas ete faite encore en francais, il pourrait etre interessant de lancer un projet communautaire dans ce but avec a la cle un (tres) gros xml.

Je vais faire des recherches pour savoir si cela existe.