Evaluation de proximité syntaxique

Version imprimable

10/10/2006, 14h41
scaleo

Evaluation de proximité syntaxique

Bonjour a tous, j'ai besoin d'un coupe de main pour déterminer la proximité syntaxique de différent termes

J'ai fait mes testes sur un corpus de mots codé en utf-8, j'utilise pour déterminer la proximité l'algo de Levensthein. Tout marche au poil tant que les mots de contiennent pas d'accent, par exemple la distance entre zero et zero vaut 0 jusque la tout vas bien mais entre zero et zéro elle diffère :aie: j'ai procédé a de nombreux essaie il semble que dans la fourchette de valeur de 0 - 6 ont peu considéré deux mot comme a peut prèt identique.

Mon observation est elle juste ?

De plus une autre question ce pose, si j'évalue zéro et zéra comment faire pour que zéra ne soit pas pris en compte ? parce que je veut bien garder zéro zero mais pas zéra puisque sa n'a rien a voir meme si sa distance est de 1
10/10/2006, 15h48
®om

Si c'est juste un problème d'accents, tu remplaces tous les é è etc... par e avant de faire la comparaison...
10/10/2006, 17h12
scaleo

Ce n'est pas aussi simple etant donné que certain des documents que mon soft aura a traité seront rédigé en coréen , japonais , anglais etc... :aie:
11/10/2006, 09h47
FrancisSourd

Je ne connais pas dans les détails d'algo que tu cites mais la distance d'édition peut très bien prendre en compte des distances différentes "caractère à caractère", ce qui permet de dire que la distance é<->e est très faible (voire nulle) alors que celle o<->a est plus importante. As-tu regardé cette piste?
11/10/2006, 10h55
scaleo

Je n'avais pas pensé a cette solution, il suffirait donc de faire une évaluation sur tout le mot puis de découper compter la longueur du mot a comparer a celle du comparant ( pour éviter de comparer un caractère et du vide :aie: ) puis je compare chacune des lettres du mot d'origine avec le mot cible

Je vais essayer sa je vous tient au jus
11/10/2006, 11h07
tomtom7

Bonjour,
Théoriquement pour comparer 2 chaines de caractères unicodes il faut d'abord les normaliser. Ensuite tu peux choisir d'ignorer certaines catégories de ces caractères.
11/10/2006, 14h25
FrancisSourd

Citation:

Envoyé par scaleo

Je n'avais pas pensé a cette solution, il suffirait donc de faire une évaluation sur tout le mot puis de découper compter la longueur du mot a comparer a celle du comparant ( pour éviter de comparer un caractère et du vide :aie: ) puis je compare chacune des lettres du mot d'origine avec le mot cible

A priori il n'est pas nécessaire de faire le découpage en mot mais on peut tout comparer caractère par caractère. En pratique, si les textes sont longs, j'imagine qu'il est utile de décomposer en mots...
Une bonne référence est le livre Algorithmique du texte.
11/10/2006, 22h11
scaleo

Citation:

Envoyé par tomtom7

Bonjour,
Théoriquement pour comparer 2 chaines de caractères unicodes il faut d'abord les normaliser. Ensuite tu peux choisir d'ignorer certaines catégories de ces caractères.

Mais le problème c'est que ce ne sont pas forcément des chaines unicode des deux cotés par exemple zero c'est de l'ASCII et zéro de l'unicode :aie: mais j'ai remarqué qu'entre 1 et 6 ont peut dire que deux mots sont très proche
12/10/2006, 02h02
HanLee

Citation:

Envoyé par scaleo

Mais le problème c'est que ce ne sont pas forcément des chaines unicode des deux cotés par exemple zero c'est de l'ASCII et zéro de l'unicode :aie: mais j'ai remarqué qu'entre 1 et 6 ont peut dire que deux mots sont très proche

Oui ben convertis toutes tes chaînes en unicode avant la comparaison, faut bien partir d'un référentiel commun.