Gestion des césures, syllabes - coupures de mots

Bonsoir à tous,

Juste par curiosité, je me demandais si Perl qui est un très bon langage de traitement de texte possédait un module qui permet de gérer les coupures de mots avec ou sans césures. Elles sont généralement utiles en fin de ligne justifiée afin de couper le mot au bon endroit si possible. Bien évidement, cela dépend de chaque langue, mais en l’occurrence en français, est-ce qu'un module est existant sur le CPAN.
Par la même occasion, cela revient à être capable de couper correctement un mot en identifiant les syllabes et les césures dans les règles de l'art.

Prenons pour exemple le mot : représentation.
Couper ce mot revient à le tronquer de la sorte : re-pré-sen-ta-tion. Néanmoins, une césure ne doit pas laisser un mot de moins de trois lettres en début ou fin de ligne. De ce fait, la bonne coupure est repré-sen-ta-tion.

Il serait intéressant d'avoir un module Perl qui soit capable de faire ce genre de coupures :aie:. Vous en connaissez ? Dans d'autres langages cela doit exister vu que les coupures de mots sont gérés dans Word, OpenOffice... Cela permettrait d'améliorer les modules de coupure de texte comme Text::Wrap, Text::Format...

Le seul module que j'ai trouvé est : Text::Hyphen qui utilise l'algorithm Knuth-Liang que je ne connais pas.

Code:

---

1 2 3 4 5 6

use Text::Hyphen;   my $hyphenator = new Text::Hyphen;   print $hyphenator->hyphenate('representation'); # prints rep-re-sen-ta-tion

---

Qu'en pensez-vous de l'idée d'avoir ce genre de module, existe-il déjà ?

Bonjour djibril,
Je ne connais pas de module Perl faisant la césure de mot en syllabes, mais j'avais fait çà en C :(, il y a près d'une trentaine d'années pour une "phonétisation", plutôt une simplification orthographique pour un thésaurus...

De mémoire, la fonction faisait le découpage en tout au plus une trentaine de lignes.
La piste que j'avais utilisé :
- Mettre le mot dans un tableau, pour accéder à chaque lettre
- Pour chaque lettre déterminer s'il s'agit d'une consonne ou d'une voyelle

Lire le tableau et appliquer les règles :
Celles dont je me souviens de mémoire :
- Si 2 consonnes se suivent on fait une césure entre les deux consonnes
- Si une ou plusieurs voyelles est/sont suivie(s) par une consonne, on coupe juste devant la consonne
Il y a une petite dizaine d'exception...
...
Un mot ne contient pas plus de 5 consonnes successives, le seul que j'ai rencontré à ce jour est Nietzsche

Tiens, je viens de trouver çà, ça ne devrait pas te poser de pb de programmation Perl :D

Je n'ai plus l'utilité d'un tel module, mais l'idée est excellente !

[EDIT 06:55] Code C
Tiens je viens de retrouver dans mes archives un bout de code C, ce n'est probablement pas le dernier...
NB : Il ne s'agissait pas de coller absolument aux règles de grammaire, mais de contourner avant tout les fautes d'orthographes de textes écrits par de nombreux personnels...
Le module gérait également les locutions et leurs synonymies... Ex :
Transport de matière dangereuse = Transport matière fissile = Transport matière radioactive...

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82

/* CESURES */   cesu(motinit,motcesures) char motinit[]; char motcesures[];   { int i=0,j=0,voyrencontre=0;   while (motinit[i]!='\0') { if (estvoy(motinit[i])) /* VOYELLES */ if (estvoy(motinit[i]) && /* glu-ant */ (motinit[i-1]=='u' && /* mar-quant */ motinit[i-2]!='q' && /* u-a -quant */ motinit[i-2]!='g') && (motinit[i]=='i' && motinit[i+1]=='n')) { motcesures[j++]='-'; motcesures[j++]=motinit[i++]; } else { /* cas general */ motcesures[j++]=motinit[i++]; /* te-te */ voyrencontre=1; }   else /* CONSONNES */ if (motinit[i+1]=='l' && motinit[i]!='l' /* e-xem-ple */ && motinit[i]!='h' /* a-phro-di-te */ && motinit[i]!='r' /* sur-li-gne */ && i!=0) /* -phr -pl */ { motcesures[j++]='-'; motcesures[j++]=motinit[i++]; voyrencontre=0; }   else /* im-pri-me */ if (motinit[i+1]=='r' && motinit[i]!='r' /* -pr */ && motinit[i]!='h' && motinit[i]!='n' /* en-registre */ && i!=0) { motcesures[j++]='-'; motcesures[j++]=motinit[i++]; voyrencontre=0; }   else /* am-phi-thea-tre */ if (motinit[i+1]=='h' && i!=0 && /* de-clen-cher */ (motinit[i]=='c' || /* embau-cher */ motinit[i]=='p' || /* -ch -ph -th */ motinit[i]=='t')) { motcesures[j++]='-'; motcesures[j++]=motinit[i++]; voyrencontre=0; }   else /* cham-pa-gne */ if (motinit[i+1]=='n' && /* -gn */ motinit[i]=='g' && i!=0) { motcesures[j++]='-'; motcesures[j++]=motinit[i++]; voyrencontre=0; }   else if (estvoy(motinit[i+1]) && /* cas generaux */ i!=0 && voyrencontre) /* voyelle deja */ { /* rencontree */ motcesures[j++]='-'; motcesures[j++]=motinit[i++]; } else motcesures[j++]=motinit[i++]; /* voyelle pas */ } /* encore ren- */ motcesures[j]='\0'; /* contree */ }

---

NB : Les commentaires expriment l'idée générale de la règle et ne correspondent pas systématiquement au code C qui précède

J'ai perdu le reste :(
Je m'étais également aidé du Dictionnaire des rimes orales et écrites
Bon courage ;)

Voici quelques liens intéressants :

• http://www.plumefrancaise.fr/fr/c%C3%A9sure
• https://fr.wikipedia.org/wiki/C%C3%A...typographie%29
  
  
  Citation:

  ---

  Bonjour à tous !
  Ce sujet m’a intéressé, et je me permets d’y revenir bien qu’il soit un peu ancien — ne serait-ce que parce que d’une part ça n’est pas non plus très ancien, d’autre part en cherchant sur Google par exemple on peut tomber dessus et avoir la curiosité de le lire — comme ç’a été mon cas, et ça m’a bien intéressé !
  Je vais essayer de faire en sorte, donc, que ce soit lisible.
  
  
  Il me semble que plusieurs choses ont été mélangées, et que pour les uns et les autres le terme “syllabation” ne recouvre pas la même réalité pour les uns et les autres.
  Il faut bien distinguer par exemple l’écrit et l’oral. L’exemple de pavement m’a frappé. Pour l’écrit, la seule syllabation est pa-ve-ment. Si l’on peut envisager pave-ment et pa-vement, c’est uniquement parce que la voyelle -e- [ə] est instable en français (on parle parfois de schwa) et peut disparaître. Il est important de remarquer que c’est peut, et non pas doit.
  Prenez le mot revenir ; syllabation écrite (même si ce concept, je vais y revenir, est lui-même flou) : re-ve-nir ; mais à l’oral, certains disent r'venir, d’autres rev'nir. Il me paraît donc bien téméraire de vouloir légiférer à l’écrit une syllabation orale, dans la mesure où l’écrit est fixe et l’oral fluctuant.
  
  Syllabation et langue des vers
  
  Je suis arrivé ici parce que je me préoccupe de la syllabation dans la versification classique (XVIIe–XVIIIe siècles, voire une bonne partie du XIXe). Dans ce domaine, il y a ce que l’on peut appeler une langue des vers qui fixe la prononciation. Dans la langue des vers, par exemple, il n’y a pas de [ljɔ˜], il n’y a que des [liɔ˜] (li-on), de même qu’il n’y a pas de [ʃiɛ˜] (chi-en) et seulement des [ʃjɛ˜] (chien). C’est comme ça, l’usage est fixe. Il y a également les règles d’ « élision » du e instable, et la disjonctivité du h. Bref, peu importe le détail, l’important est qu’en précisant bien toutes les règles (ce qui implique effectivement une liste de vocabulaire parce que la réalisation de la graphie i+V ne dépend en rien ou presque rien de la graphie effective du mot, mais de l’étymologie principalement), on peut syllaber de manière univoque des vers de la période classique. Il n’y a qu’une et une seule façon de "compter" tels vers de Racine, Corneille, Voltaire, même Musset et Baudelaire…
  
  Deux exemples situés aux antipodes l’un de l’autre
  Boileau, Art poétique :

  ---

  Code:

  ---

  1 2 3 4 5 6 7

  C’est / en / vain / qu’au / Par- / nass(e) / un / té- / mé- / rair(e) / au- / teur Pren- / se / de / l’art / des / vers / at- / tein- / dre / la / hau- / teur   Verlaine, Poèmes saturniens : Bai- / ser / ro- / se / tré- / mièr(e) / au / jar- / din / des / ca- / res- / ses Vif / ac- / com- / pa- / gne- / ment / sur / le / cla- / vier / des / dents (et jamais cla-/vi-/er, p. ex.)

  ---

  Citation:

  ---

  
  Mettre des tirets en fin de ligne
  
  En ce qui concerne la "syllabation écrite", la césure, ce qu’on appelle en anglais hyphenation (hypen, tiret) est dicté par d’autres règles encore, qui sont bien sûr liées à la prononciation, mais pas uniquement. Par exemple, même si dans certains contextes ont prononce li-on, on n’a pas le droit de couper en fin de ligne li-
  on, pas plus qu’attenti-
  on, ou que li-
  en. Mais ces règles sont liées, elles aussi, à l’étymologie et à la tradition. Ça se voit particulièrement bien en anglais, où l’on coupe gov-
  ernment. En réalité, autant que de règles linguistiques cela relève de règles typographiques. D’ailleurs si quelqu’un voulait utiliser ces règles, je pense qu’il devrait se tourner vers les algorithmes de césure de LaTeX, qui sont maintenant très largement répandus (il me semble avoir lu ou entendu qu’Open/LibreOffice les utilisaient).
  C’est uniquement quand on met des tirets pour couper le mot qu’apprendre est ap-prendre et non a-pprendre, parce que pour beaucoup de gens, c'est a-prendre et la double consonne n’est pas réalisée dans la prononciation.
  
  Aiguille, anguille, aiguise
  
  Enfin, oui, il restera toujours en français des cas où la prononciation (la syllabation) doit être précisée par un “dictionnaire”, et aiguille en ferait à mon avis partie.
  Le fait qu’on prononce ai-gu-ille (en détachant le u) n’a rien avoir avec le ille, puisqu'on dit bien an-guille, et qu’inversement on entend aussi bien ai-gu-i-ser qu’ai-gui-ser.
  
  
  
  Je pense donc, pour conclure, que oui il est possible de syllaber un texte français par l’informatique, dans un certaine mesure et avec certaines restrictions, mais qu’une intervention qui ne relève pas de la pure algorithmique à partir de la graphie (recours à un dictionnaire) est nécessaire parce que la graphie en français (comme en anglais d’ailleurs) n’est pas suffisante, voire consistante, pour décrire la prononciation.

  ---

Finalement, cela ne semble pas si évident que ça. Il y a beaucoup d'exceptions. Mais juste pour le fun, j'aimerai bien essayer de faire un petit programme. Je vais dans un premier temps m'inspirer de ton code dmganges. Sur plusieurs sites, il est écrit qu'il faudrait presque avoir une BDD avec tous les mots du dictionnaires :aie:, ce qui semble moyen si j'en faisais un module.
Donc deux problématiques :

• à partir d'un mot, isoler les syllabes ;
• à partir d'un mot, isoler les césures pour les fins de ligne.

Je compte sur vous pour m'aider :ptdr:

Salut,

Citation:

---

Envoyé par djibril

Voici quelques liens intéressants :

• http://www.plumefrancaise.fr/fr/c%C3%A9sure

---

Faudra faire attention avec ce site : une magnifique faute d'orthographe sur la page en question, une autre sur la page d'accueil, et comme la page "Contact" est désactivée (le site a l'air inactif depuis un an), ça va rester...

Citation:

---

Envoyé par djibril

Finalement, cela ne semble pas si évident que ça. Il y a beaucoup d'exceptions.

---

Oui, il est difficile de faire un module générique, il faut bien penser les besoins aux départ :
- Césures pour un traitement de texte
- Césures en vue de phonétiser
- Césures en vue d'une simplification orthographique
...

En ce qui me concerne j'avais à phonétiser en vue d'une simplification orthographique :
Une fois le mot découpé en syllabes, je phonétisais les syllabes.
Les syllabes phonétisées était une entrée dans un dictionnaire d'une BDD, Ex :

Phonème Pho-nè-me donnait FoNeMe
Et ce que le mot initial soit Phonaime, Fonème, Fauneime...

Je n'ai pas eu le temps de finaliser correctement ce projet, mon patron s'étant aperçu que je m'amusais comme un petit fou, m'avait donné un autre os à ronger ! selon ces propres dires...
S'il passe par là, il se reconnaîtra sans aucun doute :D

La langue française est pleine de turpitudes du genre :

Les poules couvent dans le couvent,
elles sortaient dès qu'on leur avait ouvert la porte
elles sortaient des cons leur avaient ouvert la porte
...
:lol:

Citation:

---

Envoyé par Jipété

Salut,

Faudra faire attention avec ce site : une magnifique faute d'orthographe sur la page en question, une autre sur la page d'accueil, et comme la page "Contact" est désactivée (le site a l'air inactif depuis un an), ça va rester...

---

C'est sûr ! Mais y a toujours moyen de tirer du positif dans ce site.

Citation:

---

Envoyé par dmganges

Oui, il est difficile de faire un module générique, il faut bien penser les besoins aux départ :
- Césures pour un traitement de texte
- Césures en vue de phonétiser
- Césures en vue d'une simplification orthographique
...

En ce qui me concerne j'avais à phonétiser en vue d'une simplification orthographique :
Une fois le mot découpé en syllabes, je phonétisais les syllabes.
Les syllabes phonétisées était une entrée dans un dictionnaire d'une BDD, Ex :

Phonème Pho-nè-me donnait FoNeMe
Et ce que le mot initial soit Phonaime, Fonème, Fauneime...

Je n'ai pas eu le temps de finaliser correctement ce projet, mon patron s'étant aperçu que je m'amusais comme un petit fou, m'avait donné un autre os à ronger ! selon ces propres dire...
S'il passe par là, il se reconnaîtra sans aucun doute :D

---

Bah n'ayant pas forcément de besoins, c'est juste pour le fun, je te dirais de partir sur quelques choses de simple dans un premier temps si c'est possible : césure pour du traitement de texte, c'est ce qui serait le plus utile au plus grand nombre, mais reste à savoir si c'est le plus simple à faire :aie:.

Voici une excellente documentation sur la typographie française : petite leçon de typographie de Jacques ANDRÉ.

Je pense que les traitements de texte comme Word ou OpenOffice Writer utilisent une base de données avec tous les mots (ça sert aussi à la vérification orthographique) et les emplacements des césures possibles.

Il y a peut-être moyen de récupérer la BDD de mots d'Open Office ou de Libre Office (c'est d'ailleurs peut-être la même), car elle doit être dans le domaine public. Avec environ 60.000 mots, on arrive sans doute à moins d'un demi mégaoctet, ce n'est pas forcément prohibitif.

Citation:

---

Envoyé par djibril

Le seul module que j'ai trouvé est : Text::Hyphen qui utilise l'algorithm Knuth-Liang que je ne connais pas, mais rien que l'exemple de la documentation me laisse perplexe :ptdr:

Code:

---

1 2 3 4 5 6

use Text::Hyphen;   my $hyphenator = new Text::Hyphen;   print $hyphenator->hyphenate('representation'); # prints rep-re-sen-ta-tion

---

---

Les règles de la césure ne sont pas les mêmes en français et en anglais.

Et le mot anglais representation "s'hyphène" bien comme indiqué, rep-re-sen-ta-tion, comme on peut le vérifier sur n'importe quel bon dictionnaire anglais. Voir par exemple celui-ci.

Sinon, quand je vois le nom de Knuth dans un algorithme, j'ai le plus grand respect. Il serait peut-être utile d'y jeter un coup d’œil et de voir s'il peut être adapté aux règles de césure en français.

Quelques informations complémentaires, mais sans doute en partie périmées:

https://www.openoffice.org/fr/Docume...tionnaires.pdf


Et un second lien vers le site de ceux qui produisent les dictionnaires pour les logiciels libres, y compris le dictionnaire de césure.

Reste à comprendre comment se servir de leurs dictionnaires.

Pour les motivés, vous trouverez la thèse de Frank Liang sur le sujet et un lien vers le code source (en TeX et Pascal) de Donald Knuth: http://www.tug.org/docs/liang/

Citation:

---

Envoyé par Lolo78

Je pense que les traitements de texte comme Word ou OpenOffice Writer utilisent une base de données avec tous les mots (ça sert aussi à la vérification orthographique) et les emplacements des césures possibles.

Il y a peut-être moyen de récupérer la BDD de mots d'Open Office ou de Libre Office (c'est d'ailleurs peut-être la même), car elle doit être dans le domaine public. Avec environ 60.000 mots, on arrive sans doute à moins d'un demi mégaoctet, ce n'est pas forcément prohibitif.



Les règles de la césure ne sont pas les mêmes en français et en anglais.

Et le mot anglais representation "s'hyphène" bien comme indiqué, rep-re-sen-ta-tion, comme on peut le vérifier sur n'importe quel bon dictionnaire anglais. Voir par exemple celui-ci.

Sinon, quand je vois le nom de Knuth dans un algorithme, j'ai le plus grand respect. Il serait peut-être utile d'y jeter un coup d’œil et de voir s'il peut être adapté aux règles de césure en français.

---

En effet, avoir le dictionnaire entier dans le module peut ne pas être une idiotie. Pour le module Text::Hyphen j'avais zappé le fait que cela s'applique plutôt à la langue anglaise. L'adapter à la langue française serait une bonne idée.

Le courageux Jacques ANDRÉ a lu la thèse pour nous et voici ses commentaires : http://www.laurentbloch.org/MySpip3/spip.php?article181.

Bonjour,

j'ai jeté un coup d’œil au code du module .

C'est assez simple.

Il contient notamment une longue liste de motifs de césure adaptés à la langue anglaise.

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13

sub _PATTERNS { return [qw( .ach4 .ad4der .af1t .al3t .am5at .an5c .ang4 .ani5m .ant4 .an3te .anti5s .ar5s .ar4tie .ar4ty .as3c .as1p .as1s .aster5 .atom5 .au1d .av4i .awn4 .ba4g .ba5na .bas4e .ber4 .be5ra .be3sm .be5sto .bri2 .but4ti .cam4pe .can5c .capa5b .car5ol .ca4t .ce4la .ch4 .chill5i .ci2 .cit5r .co3e .co4r .cor5ner .de4moi .de3o .de3ra .de3ri .des4c .dictio5 .do4t .du4c .dumb5 .earth5 .eas3i .eb4 .eer4 .eg2 .el5d ....... 3ysis y4so yss4 ys1t ys3ta ysur4 y3thin yt3ic y1w za1 z5a2b zar2 4zb 2ze ze4n ze4p z1er ze3ro zet4 2z1i z4il z4is 5zl 4zm 1zo zo4m zo5ol zte4 4z1z2 z4zy   )]; }

---

ainsi qu'une courte liste d'exceptions.

Le dictionnaire de césures sur le site français que j'ai cité (cliquer sur le lien Césures 3.0 ou: http://www.dicollecte.org/download/fr/hyph-fr-v3.0.zip) contient des motifs ressemblant beaucoup:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

ab2h % df-bg 1998/02/07 for abhorrer .ab3r\'ea 'ab3r\'ea ad2h % df-bg 1998/02/07 for adh\`esion & co a1\`e2dre .ae3s4ch 'ae3s4ch 1alcool a2l1algi .amino1a2c 'amino1a2c .ana3s4tr 'ana3s4tr 1a2nesth\'esi .anti1a2 'anti1a2 .anti1e2

---

(Les lignes commençant pas % sont des commentaires)

Il paraît très probable que les deux listes de motifs sont destinées au même algorithme.

Donc, on peut penser qu'en utilisant le module et en y remplaçant la liste des motifs anglais par des motifs français, on devrait obtenir quelque chose susceptible de marcher.

Il faut sans doute creuser plus (je ne vois pas de liste d'exceptions dans la version française). Il faudrait aussi mieux comprendre la liste de motifs français: j'ai vu par exemple que "\'" représente un accent aigu sur la lettre suivante et "\`" un accent grave, mais il y a sans doute pas mal d'autres subtilités.

Si mes hypothèses ci-dessus se vérifient, il ne devrait pas être bien difficile de faire un module Text::Hyphen::FR. :D

:D
J'ai eu la même réflexion que toi en regardant le contenu du module.
Je fouille le net aussi pour voir ce qui se fait (petit projet python).

Avez-vous testé Text::Hyphen ? De mon coté, il ne me tronque rien. Il m'affiche toujours mon mot d'origine sans coupure.

Même chose, il ne découpe pas.

Pourtant, j'ai essayé en mode debug, à la fin, à la ligne 535 ("return wantarray ? @pieces : join($delim, @pieces);"), on a:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13

DB<28> x @pieces 0 'rep' 1 're' 2 'sen' 3 'ta' 4 'tion' DB<29> x $delim 0 '-' DB<30> $w = join($delim, @pieces)   DB<31> x $w 0 'rep-re-sen-ta-tion'

---

Je pense donc qu'il ne faut pas faire print sur le résultat, mais le mettre dans une variable scalaire. Sinon, print impose sans doute un contexte de liste et print remet les morceaux de @pieces ensembles.

Pas le temps de tester maintenant, je le ferai plus tard.

Voilà: en imposant un contexte scalaire:

Code:

---

1 2 3 4 5 6 7 8

$ perl -e 'use Text::Hyphen; > > my $hyphenator = new Text::Hyphen; > > print scalar $hyphenator->hyphenate('representation'); > ' rep-re-sen-ta-tion

---

Donc, ça marche, c'est juste l'exemple de l'auteur dans sa documentation qui était mal fagoté.

arfff, bien vu. :merci:

OK, j'ai modifié le code de Text::Hyphen dans Text::FR:Hyphen en utilisant la liste de motifs français trouvée sur le site mentionné plus haut, et ça a l'air de marcher plutôt pas mal:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

$ perl -MText::FR::Hyphen -E ' > my $hyphenator = new Text::Hyphen; > my @a = qw / papillon parapluie aspirine anticonstitutionnellement liste stupide > monnaie emprunt histoire film photographie essentiellement programmation immuable/; > say scalar $hyphenator->hyphenate($_) for @a; > ' pa-pil-lon para-pluie as-pirine an-ti-con-sti-tu-tion-nelle-ment liste stupi-de mon-naie em-prunt his-toire film pho-togra-phie es-sen-tielle-ment pro-gram-ma-tion im-muable

---

Il ne trouve pas toutes les césures possibles, et pas toujours les meilleures (à mon humble avis), mais toutes celles qu'il trouve sont correctes, et c'est le plus important.

Pas mal pour un premier essai, Non?

J'ai évité pour l'instant les mots ayant des caractères accentués, parce c'est peut-être plus compliqué.

Mais je trouve l'essai très encourageant.

Nouvel essai avec des accents, cédilles, etc:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

$ perl -MText::FR::Hyphen -E ' > my $hyphenator = new Text::Hyphen; > my @a = qw / Mitterrand avocat éternellement immédiat maçon douzième répréhensible gouvernement développement /; > say scalar $hyphenator->hyphenate($_) for @a; > ' Mit-ter-rand av-o-cat éter-nelle-ment im-mé-di-at maçon douz-ième répréhen-si-ble gou-verne-ment développe-ment

---

Les accents et cédilles ne gênent pas le bon fonctionnement, a priori, mais ici au moins deux cas de césures non satisfaisantes, je pense (av-o-cat et douz-ième).

Bon, j'en reste là pour ce soir, tout n'est pas parfait, manifestement, mais l'outil marche plutôt pas mal quand même.

Bonne soirée à tous.

On s'y prend au jeu hein :aie: !
Moi j'essaye de comprendre le code, mais bon, en remplaçant les motifs, c'est sûr que ça semble concluant.
J'ai d’ailleurs vu sur le CPAN que l'auteur avait crée un autre module dédié au russe.
Donc il serait possible d'ajouter un extension pour le français ou de réécrire le module.

Pour ce qui est des accents et ligature, je pense qu'il faut bien jouer avec les encodages.

Bonjour,

Après modification de la liste de pattern, voici le résultat d'un test réalisé :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

représentation -> repré-sen-ta-tion avocat -> avo-cat coupure -> cou-pure familliale -> famil-liale porte-monnaie -> porte--mon-naie rouge-gorge -> rouge--gorge transaction -> tran-sac-tion superbe -> superbe consistant -> consis-tant consultant -> consul-tant rubicon -> rubi-con developpement -> deve-lop-pe-ment développement -> dé-ve-lop-pe-ment fécondé -> fé-condé Aujourd'hui -> Aujour-d'hui Aviation -> Avia-tion détacher -> dé-ta-cher

---

Même si dans l'ensemble c'est pas mal, voici quelques remarques :

• Erreurs pour ma part :
  
  Code:

  ---

  1 2 3 4 5

  porte-monnaie -> porte--mon-naie rouge-gorge -> rouge--gorge rubicon -> rubi-con développement -> dé-ve-lop-pe-ment détacher -> dé-ta-cher

  ---

• je pense qu'il faut mettre au minimum 3 pour la longueur des préfixes et suffixes afin d'éviter d'avoir des bouts de mot à 2 caractères ;
• il faut que le module évite les coupures faisant apparaitre en début ou fin : con cul faq...
• il ne doit pas couper les mots composés, les nom propres et éviter les doubles tirets ;
• il y a un souci avec l'accent de développement, fécondé.

Il faut soit rajouter quelques règles dans le codes, soit améliorer les pattern.

Qu'en pensez-vous ?

Citation:

---

Envoyé par djibril

[*]je pense qu'il faut mettre au minimum 3 pour la longueur des préfixes et suffixes afin d'éviter d'avoir des bouts de mot à 2 caractères ;

---

La longueur minimale des préfixes et suffixes est paramétrable. Par défaut, en anglais c'est 2 pour les préfixes et trois pour les suffixes.

Citation:

---

Envoyé par djibril

[*]il faut que le module évite les coupures faisant apparaitre en début ou fin : con cul faq...

---

Ce doit être possible en enrichissant la liste des motifs, mais encore faut-il comprendre comment ils fonctionnent.

Citation:

---

Envoyé par djibril

[*]il ne doit pas couper les mots composés, les nom propres et éviter les doubles tirets ;

---

Le double tiret, je pense que c'est pour proposer la césure préférée, au programme utilisateur de gérer. Je ne vois de problème pour les noms propres, ils sont souvent coupés quand ils sont longs dans les colonnes étroites des journaux.

Citation:

---

Envoyé par djibril

[*]il y a un souci avec l'accent de développement, fécondé.

---

Lequel? A part que le préfixe est de deux lettres, mais cela, c'est paramétrable au moment de l'instantiation de l'objet de classe Hyphen..

Et tu as fait comment pour qu'avocat soit coupé correctement alors qu'il ne l'était pas dans mon essai?

Citation:

---

Envoyé par Lolo78

La longueur minimale des préfixes et suffixes est paramétrable. Par défaut, en anglais c'est 2 pour les préfixes et trois pour les suffixes.

---

C'est ce que j'ai fait en mettant trois par défaut.

Citation:

---

Envoyé par Lolo78

Ce doit être possible en enrichissant la liste des motifs, mais encore faut-il comprendre comment ils fonctionnent.

---

pour éviter con en fin de ligne, le motif con4. fait l'affaire.

Citation:

---

Envoyé par Lolo78

Le double tiret, je pense que c'est pour proposer la césure préférée, au programme utilisateur de gérer.

---

Je pense que c'est plutôt un bogue non géré.

Citation:

---

Envoyé par Lolo78

Je ne vois de problème pour les noms propres, ils sont souvent coupés quand ils sont longs dans les colonnes étroites des journaux.

---

Normalement, les noms propres ne doivent pas être coupés. C'est la règle.

Citation:

---

Envoyé par Lolo78

Lequel? A part que le préfixe est de deux lettres, mais cela, c'est paramétrable au moment de l'instantiation de l'objet de classe Hyphen..

Et tu as fait comment pour qu'avocat soit coupé correctement alors qu'il ne l'était pas dans mon essai?

---

j'ai paramétré 3 d'où le non coupage de avocat, mais cela ne fonctionne pas pour développement avec accents donc y a un couac quelque part.

Bonjour,

quelques essais sous OpenOffice pour comparer:

• même en autorisant des préfixes de 2 lettres, avocat ne prend qu'une seule coupure possible: avo-cat, alors que l'on utilise probablement les mêmes motifs (ou une base de motifs très proche), c'est assez étrange.
• si la longueur minimale du préfixe est fixée à 3, fécondé et développement ne sont pas coupés après la deuxième lettre; donc OO compte apparemment mieux les caractères accentués que le module Perl; une éventuelle correction ne devrait pas être trop difficile;
• OpenOffice n'hésite pas à couper les noms propres : Aris-tote.

Citation:

---

pour éviter con en fin de ligne, le motif con4. fait l'affaire.

---

Tu as compris comment fonctionnent les motifs? Pour l'instant, je n'en ai qu'une idée très vague.

Salut Lolo78,

Il faudrait trouver la même base de motifs utilisés par Apache OpenOffice ou du moins la plus récente disponible.
Quand je regarde le programme du module, il ne joue à aucun moment avec les encodages, il se peut que les lettres accentuées soient mal encodées et de ce faite, é serait sur deux caractères ?
Pour avocat, il se peut que ce soit également une histoire de motif.
Voici ce que j'ai compris des motifs :
un motif est une combinaison de lettres et de chiffres (de 0 à n). Un nombre impair signifie que la coupure est permise, un nombre pair signifie que la coupure est interdite. L'assemblage de ces motifs permet d'avoir une couverture sur le mot que l'on étudie et si certains interfèrent, le plus grand gagne.
Les points signifient soit un début de ligne, soit une fin de ligne.
N.B. Je n'ai pas tout saisie vu qu'il y a aussi des tirets, guillemets.

Voici un exemple issu de ce lien.
Prenons un exemple en anglais, le mot : hyphenation. Voici les patterns stockés, qui sont "éligibles" pour ce mot. Sans nombres : hyph hen hena henat na nat tio io on. . Avec : hy3ph he2n hena4 hen5at 1na n2at 1tio 2io o2n. .
Voici l'appariement du mot et des patterns :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

h-y-p-h-e-n-a-t-i-o-n h-y3p-h ------h-e2n ------h-e-n-a4 ------h-e-n5a-t ---------1n-a ----------n2a-t -------------1t-i-o ---------------2i-o ------------------o2n ----------------------- h-y3p-h-e2n5a4t2i-o2n   -> hy3phe2n5a4t2io2n -> hy-phen-ation

---

La dernière ligne qui ramasse les nombres en gardant le maximum, donne la réponse au problème de la coupure. La réponse est hy-phen-ation.
On constate par exemple que hen5at et n2at chevauche sur le n. Le 5 a pris le dessus d'où : h y3p h e2n5a4t2i o2n et 5 étant impair, la coupure est permise (phen-).
Voilà un peu ce que j'ai compris de l'algorithme. L'implémentation de cette assemblage en perl fait un peu mal au crane mais c'est ce que le module fait. Si on peut le réécrire, je ne suis pas contre.
Maintenant, pour être complet, si on souhaite mieux respecter la langue française, il faut mieux gérer les cas particuliers : ne pas couper les noms propre, ne pas couper les noms composés, ne pas laisser moins de trois lettres en extrémité, faire attention à certains derniers mots (con, cul, faq...) et autres. Informatiquement, on ne pourra pas gérer tous les cas car il y a des cas qui ne que détectable que par la sonorité, mais bon. Il y a moyen de déjà améliorer ces coupures en plus des motifs.

OK, j'ai besoin d'y réfléchir, mais je pense que pour être utile, il ne faudrait pas s'éloigner de la liste des motifs, qui doit être maintenue et évoluer régulièrement. Faire notre propre liste de motifs serait sans doute contreproductif.

On peut ajouter des règles particulières, mais sans doute pas modifier le corpus existant de motifs.

Je suis d'accord avec toi sur le fait que la liste des motifs doit être celle que l'on téléchargera sur un site officiel. Qu'elle est le site de référence où l'on pourrait télécharger la dernière version du fichier contenant les motifs ?
Pour le module, il y aurait juste une procédure supplémentaire dont le but serait de faire un traitement supplémentaire sur le résultat rendu par le module afin de gérer nos cas particuliers.
Le module est également censé gérer une liste d'exception, mais je n'ai pas encore saisie comment cela fonctionne donc à nous de définir cette liste.
Pour gérer les noms propres et abréviations, c'est plus compliqué car il faut les connaitre à l'avance :aie:.
Le module pourrait en option laisser la possibilité de ne pas couper les sigles, les abbreviations et les noms propres.

Bonjour Djibril,

On peut modifier légèrement le code du module pour qu'il charge dans le trie deux listes de motif, celle officielle (pouvant facilement être mise à jour lorsque la liste officielle est mise à jour) et une seconde avec des motifs complémentaires que nous ajouterions pour les règles que nous voudrions changer.

Pour les noms propres, on pourrait ne pas passer au programme les mots commençant par une majuscule, mais c'est un peu embêtant pour les majuscules en début de phrase.

Sinon, je confirme que le programme considère une lettre accentuée comme deux lettres, comme le montre cette session sous le débogueur avec le mot "féconde":

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22

DB<2> s Text::Hyphen::hyphenate(/usr/lib/perl5/site_perl/5.14/Text/FR/Hyphen.pm:495): 495: length($word) < $self->{min_word} 496: and return $word;   DB<2> print length($word) 8 DB<3> s Text::Hyphen::hyphenate(/usr/lib/perl5/site_perl/5.14/Text/FR/Hyphen.pm:498): 498: my @word = split //, $word; DB<3> s Text::Hyphen::hyphenate(/usr/lib/perl5/site_perl/5.14/Text/FR/Hyphen.pm:501): 501: my $points = $self->{exceptions}->{lc($word)}; DB<3> x @word 0 'f' 1 '▒' 2 '▒' 3 'c' 4 'o' 5 'n' 6 'd' 7 'e'

---

Le mot "féconde" à 7 lettres, mais la fonction length de Perl en compte 8 (je n'avais jamais remarqué jusqu'à hier soir) et le découpage en lettres individuelles divise le "é" en deux caractères non affichables. Il va falloir voir si, en jouant avec les modules Unicode/UTF8, on peut résoudre ce problème. Je vais faire quelques essais, mais j'ai une expérience assez limitée dans le domaine, au boulot on a quasiment toujours du pur ASCII.

En utilisanr le moduke utf8, le mot féconde se retrouve bien avec 7 lettres:

Code:

---

1 2 3 4 5 6 7

$ perl -E 'say length("féconde");' 8   $ perl -Mutf8 -E 'say length('féconde'); > ' 7

---

Et, dans le module, le découpage en lettre individuelles n'en trouve que 7:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29

$ perl -MText::FR::Hyphen -Mutf8 -dE ' > my $hyphenator = new Text::Hyphen((min_prefix => 3)); > say scalar $hyphenator->hyphenate("féconde"); > '   (...)   DB<1> s Text::Hyphen::hyphenate(/usr/lib/perl5/site_perl/5.14/Text/FR/Hyphen.pm:495): 495: length($word) < $self->{min_word} 496: and return $word; DB<1> print length($word); 7 DB<2> s Text::Hyphen::hyphenate(/usr/lib/perl5/site_perl/5.14/Text/FR/Hyphen.pm:498): 498: my @word = split //, $word; DB<2> s Text::Hyphen::hyphenate(/usr/lib/perl5/site_perl/5.14/Text/FR/Hyphen.pm:501): 501: my $points = $self->{exceptions}->{lc($word)}; DB<2> x @word; 0 'f' 1 '▒' 2 'c' 3 'o' 4 'n' 5 'd' 6 'e' DB<3> c f▒conde

---

Mais la lettre accentuée n'est plus comprise!

Cela semble fonctionner en ajoutant une nouvelle ligne de code:

Code:

---

1 2 3 4 5 6 7

$ perl -MText::FR::Hyphen -Mutf8 -E ' > my $hyphenator = new Text::Hyphen((min_prefix => 3)); > binmode STDOUT, ":utf8"; > say scalar $hyphenator->hyphenate("féconde"); > ' féconde

---

Mais il va falloir être prudent sur cette problématique Unicode.

En fait, pour palier au souci, tu mets dans le .pm

Code:

---

use utf8;

---

Le .pm étant encodé en UTF-8. Ton script ensuite encodé en utf-8 fonctionne. Ayant un peu l'habitude de ce genre de galère, il va falloir que le nouveau module soit encodé en UTF-8, que les mots passé au module soient aussi encodé en UTF-8 pour palier à tous ces soucis.
Pour l'affichage sur la console, c'est encore autre chose en fonction du terminal configuré.

Je viens de faire des tests et cela fonctionne correctement et s'affiche bien.

Voilà une idée pour le nouveau module :

• création de la liste des motifs issus de Dicollect dans le module. Elle ne sera modifiées qu'en cas de mise à jour ;
• création d'autres listes contenant certains sigles, abréviations et noms propres. Il faut trouver un site officiel (pas simple) ;
• création d'une liste d'exception ;
• le module donnera ou non la possibilité de tenir compte des listes supplémentaires (nom propres...) ;
• création d'une procédure pour les traitements supplémentaires avec possibilité de désactivation.

C'est faisable très facilement.

J'avais appuyé par mégarde sur le bouton envoyer sans avoir fini mon post. J'ai maintenant ajouté un test supplémentaire paraissant concluant, mais tu as répondu entre temps.

Bonjour,

Le problème est résolu avec ce nouveau module Perl : Lingua::FR::Hyphen.

Merci à tous pour votre participation.

Salut Djibril,

tu pourrais peut-être l'annoncer dans un message aux Mongueurs de Perl, Non?