Discussion :

[alios7]

S'il vous plait est ce qu'il un quelqu'un qui me propose un algorithme qui permet de découper une phrase (tokenisation ) merci

[Flodelarab]

Bonjour

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
$ perl -e 'foreach $mot (qw(Ceci est une phrase au hasard)) {print $mot."\n";}'
Ceci
est
une
phrase
au
hasard

[valentin03]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
phrase$="Ceci est une phrase au hasard"
dim tableau$(10)
For x= 1 to len(phrase$)
   x$= word$(phrase$,x)
   print x$: tableau$(x)=x$
next x

Au suivant...

[alios7]

merci pour vos réponses. Je ne voulais pas que la découpage de la chaine de caractère soit en c
Est ce vous pouvez me proposer un algorithme de tokenisation en citant les étapes seulement . Je vous donne un exemple:

- L'algorithme fonctionne continuellement

- "le" "algorithme" "fonctionne" "continuellement"

Merci

[valentin03]

Qui dit "tokénisation" dit "tokens"; pour poser des tokens, il faut une (ou des) règle(s) (découpage par mot, par N mots, par mots particuliers...ext)

Une chaine est en général de longueur finie, et donc l'algo qui traite une chaine s'arrête à la fin de la chaine.

Un algo qui fonctionne continuellement, c'est à éviter (boucle infinie--> machine hors de contrôle)

[anapurna]

salut


imaginon que tu veuille lire une ligne
le code de fin de ligne est #13
et que la separation des token(mots) soit réalisé par un espace

donc ton algo aura une une structure de ce genre du genre

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
Fin =  #13;
Sep = ' ';
C = Lirecaractere
Mots ='';
TansQue (C <>Fin) Faire 
    TansQue  (C <> Sep) and (C <>Fin) Faire 
       Mots = Mots + C;
       C = Lirecaractere
    FinTanQue 
    SI Mots <> '' ALORS
       AjouteToKenDansListe(LST,Mots)
    FINSI 
    Mots ='';
    SI (C <>Fin) ALORS
       C = Lirecaractere
    FINSI 
FinTanQue