Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

  1. #1
    Nouveau Candidat au Club
    Homme Profil pro
    Chercheur en informatique
    Inscrit en
    novembre 2015
    Messages
    2
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Canada

    Informations professionnelles :
    Activité : Chercheur en informatique

    Informations forums :
    Inscription : novembre 2015
    Messages : 2
    Points : 1
    Points
    1

    Par défaut Découper une phrase (tokenisation)

    S'il vous plait est ce qu'il un quelqu'un qui me propose un algorithme qui permet de découper une phrase (tokenisation ) merci

  2. #2
    Expert éminent Avatar de Flodelarab
    Homme Profil pro
    Inscrit en
    septembre 2005
    Messages
    3 289
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Charente (Poitou Charente)

    Informations forums :
    Inscription : septembre 2005
    Messages : 3 289
    Points : 7 752
    Points
    7 752

    Par défaut

    Bonjour

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    $ perl -e 'foreach $mot (qw(Ceci est une phrase au hasard)) {print $mot."\n";}'
    Ceci
    est
    une
    phrase
    au
    hasard
    Cette réponse vous apporte quelque chose ? Cliquez sur en bas à droite du message.
    Votre problème est résolu ? Cliquez sur en bas de page.

    Linux, grep/sed/awk/xml... et autres fichiers plats, Java, C++

  3. #3
    Membre régulier
    Homme Profil pro
    Développeur de jeux vidéo
    Inscrit en
    février 2013
    Messages
    140
    Détails du profil
    Informations personnelles :
    Sexe : Homme

    Informations professionnelles :
    Activité : Développeur de jeux vidéo

    Informations forums :
    Inscription : février 2013
    Messages : 140
    Points : 97
    Points
    97

    Par défaut

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    phrase$="Ceci est une phrase au hasard"
    dim tableau$(10)
    For x= 1 to len(phrase$)
       x$= word$(phrase$,x)
       print x$: tableau$(x)=x$
    next x
    Au suivant...

  4. #4
    Nouveau Candidat au Club
    Homme Profil pro
    Chercheur en informatique
    Inscrit en
    novembre 2015
    Messages
    2
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Canada

    Informations professionnelles :
    Activité : Chercheur en informatique

    Informations forums :
    Inscription : novembre 2015
    Messages : 2
    Points : 1
    Points
    1

    Par défaut

    merci pour vos réponses. Je ne voulais pas que la découpage de la chaine de caractère soit en c
    Est ce vous pouvez me proposer un algorithme de tokenisation en citant les étapes seulement . Je vous donne un exemple:

    - L'algorithme fonctionne continuellement

    - "le" "algorithme" "fonctionne" "continuellement"

    Merci

  5. #5
    Membre régulier
    Homme Profil pro
    Développeur de jeux vidéo
    Inscrit en
    février 2013
    Messages
    140
    Détails du profil
    Informations personnelles :
    Sexe : Homme

    Informations professionnelles :
    Activité : Développeur de jeux vidéo

    Informations forums :
    Inscription : février 2013
    Messages : 140
    Points : 97
    Points
    97

    Par défaut

    Qui dit "tokénisation" dit "tokens"; pour poser des tokens, il faut une (ou des) règle(s) (découpage par mot, par N mots, par mots particuliers...ext)

    Une chaine est en général de longueur finie, et donc l'algo qui traite une chaine s'arrête à la fin de la chaine.

    Un algo qui fonctionne continuellement, c'est à éviter (boucle infinie--> machine hors de contrôle)

  6. #6
    Expert confirmé
    Avatar de anapurna
    Homme Profil pro
    Développeur informatique
    Inscrit en
    mai 2002
    Messages
    2 733
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Développeur informatique
    Secteur : Arts - Culture

    Informations forums :
    Inscription : mai 2002
    Messages : 2 733
    Points : 4 413
    Points
    4 413

    Par défaut

    salut


    imaginon que tu veuille lire une ligne
    le code de fin de ligne est #13
    et que la separation des token(mots) soit réalisé par un espace

    donc ton algo aura une une structure de ce genre du genre

    Fin = #13;
    Sep = ' ';
    C = Lirecaractere
    Mots ='';
    TansQue (C <>Fin) Faire
    TansQue (C <> Sep) and (C <>Fin) Faire
    Mots = Mots + C;
    C = Lirecaractere
    FinTanQue
    SI Mots <> '' ALORS
    AjouteToKenDansListe(LST,Mots)
    FINSI
    Mots ='';
    SI (C <>Fin) ALORS
    C = Lirecaractere
    FINSI
    FinTanQue
    Nous souhaitons la vérité et nous trouvons qu'incertitude. [...]
    Nous sommes incapables de ne pas souhaiter la vérité et le bonheur, et sommes incapables ni de certitude ni de bonheur.
    Blaise Pascal
    PS : n'oubliez pas le tag

  7. #7
    Membre régulier
    Homme Profil pro
    Développeur de jeux vidéo
    Inscrit en
    février 2013
    Messages
    140
    Détails du profil
    Informations personnelles :
    Sexe : Homme

    Informations professionnelles :
    Activité : Développeur de jeux vidéo

    Informations forums :
    Inscription : février 2013
    Messages : 140
    Points : 97
    Points
    97

    Par défaut

    Citation Envoyé par anapurna Voir le message
    salut
    .... la separation des token(mots)
    Mot ---> Word
    Token ---> Jeton (ou balise)

  8. #8
    Expert confirmé
    Avatar de anapurna
    Homme Profil pro
    Développeur informatique
    Inscrit en
    mai 2002
    Messages
    2 733
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Développeur informatique
    Secteur : Arts - Culture

    Informations forums :
    Inscription : mai 2002
    Messages : 2 733
    Points : 4 413
    Points
    4 413

    Par défaut

    salut valentin

    dans le contexte de découper une phrase le jeton deviens le mots
    effectivement il a pas définis les règles exact de sont découpage mais le principe seras toujours le même
    tu lit ta phrase jusqu'au bout ... celle-ci seras divisé par des séparateur prés défini (blancs,parenthèse,accolade,point-virgule,virgule,...) aux choix de la personne
    La tokenrisation d'une phrase est un abus de langage ... ici on ne fait pas de compilation on a pas de mots réservé,de chaîne ....
    c'est pour cela que j'ai fait un raccourci entre le token ... jeton et le mots trouvé
    Nous souhaitons la vérité et nous trouvons qu'incertitude. [...]
    Nous sommes incapables de ne pas souhaiter la vérité et le bonheur, et sommes incapables ni de certitude ni de bonheur.
    Blaise Pascal
    PS : n'oubliez pas le tag

Discussions similaires

  1. Découper une phrase
    Par evasi0n dans le forum Shell et commandes GNU
    Réponses: 8
    Dernier message: 28/10/2017, 22h21
  2. Découper les mots dans une phrase
    Par selmastar dans le forum Débuter
    Réponses: 2
    Dernier message: 28/03/2013, 08h58
  3. Découper une phrase
    Par hidewak dans le forum Langage
    Réponses: 5
    Dernier message: 19/07/2011, 17h31
  4. Découper une phrase en mot
    Par punisher999 dans le forum Général Java
    Réponses: 17
    Dernier message: 26/03/2010, 10h14
  5. [Tableaux] Découper une phrase en mots
    Par cmoiscrat dans le forum Fonctions
    Réponses: 5
    Dernier message: 14/02/2006, 14h29

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo