Evaluation de proximité syntaxique

**scaleo** · 10/10/2006, 14h41

Bonjour a tous, j'ai besoin d'un coupe de main pour déterminer la proximité syntaxique de différent termes

J'ai fait mes testes sur un corpus de mots codé en utf-8, j'utilise pour déterminer la proximité l'algo de Levensthein. Tout marche au poil tant que les mots de contiennent pas d'accent, par exemple la distance entre zero et zero vaut 0 jusque la tout vas bien mais entre zero et zéro elle diffère

j'ai procédé a de nombreux essaie il semble que dans la fourchette de valeur de 0 - 6 ont peu considéré deux mot comme a peut prèt identique.

Mon observation est elle juste ?

De plus une autre question ce pose, si j'évalue zéro et zéra comment faire pour que zéra ne soit pas pris en compte ? parce que je veut bien garder zéro zero mais pas zéra puisque sa n'a rien a voir meme si sa distance est de 1

**®om** · 10/10/2006, 15h48

Si c'est juste un problème d'accents, tu remplaces tous les é è etc... par e avant de faire la comparaison...

**scaleo** · 10/10/2006, 17h12

Ce n'est pas aussi simple etant donné que certain des documents que mon soft aura a traité seront rédigé en coréen , japonais , anglais etc...

**FrancisSourd** · 11/10/2006, 09h47

Je ne connais pas dans les détails d'algo que tu cites mais la distance d'édition peut très bien prendre en compte des distances différentes "caractère à caractère", ce qui permet de dire que la distance é<->e est très faible (voire nulle) alors que celle o<->a est plus importante. As-tu regardé cette piste?

**scaleo** · 11/10/2006, 10h55

Je n'avais pas pensé a cette solution, il suffirait donc de faire une évaluation sur tout le mot puis de découper compter la longueur du mot a comparer a celle du comparant ( pour éviter de comparer un caractère et du vide

) puis je compare chacune des lettres du mot d'origine avec le mot cible

Je vais essayer sa je vous tient au jus

**tomtom7** · 11/10/2006, 11h07

Bonjour,
Théoriquement pour comparer 2 chaines de caractères unicodes il faut d'abord les normaliser. Ensuite tu peux choisir d'ignorer certaines catégories de ces caractères.

**FrancisSourd** · 11/10/2006, 14h25

Envoyé par scaleo

Je n'avais pas pensé a cette solution, il suffirait donc de faire une évaluation sur tout le mot puis de découper compter la longueur du mot a comparer a celle du comparant ( pour éviter de comparer un caractère et du vide

) puis je compare chacune des lettres du mot d'origine avec le mot cible

A priori il n'est pas nécessaire de faire le découpage en mot mais on peut tout comparer caractère par caractère. En pratique, si les textes sont longs, j'imagine qu'il est utile de décomposer en mots...
Une bonne référence est le livre Algorithmique du texte.

**scaleo** · 11/10/2006, 22h11

Envoyé par tomtom7

Bonjour,
Théoriquement pour comparer 2 chaines de caractères unicodes il faut d'abord les normaliser. Ensuite tu peux choisir d'ignorer certaines catégories de ces caractères.

Mais le problème c'est que ce ne sont pas forcément des chaines unicode des deux cotés par exemple zero c'est de l'ASCII et zéro de l'unicode

mais j'ai remarqué qu'entre 1 et 6 ont peut dire que deux mots sont très proche