Discussion :

[abbescr7]

salut tous le monde
je suis entrain de programmer un analyseur lexical sous java
pour un texte donné il me donne les mots clé les séparateur identificateur ect,par exemple public static void main ;
public static void main sont des mot clé
; séparateur
le soucis c'est au niveau du split

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

tabmot=chaine.split(" ");

il prend pas en compte les mot collé par exemple String[ ], <=,
il me faut une expression régulière qui traite tous les cas , j'ai mis

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

tabmot=chaine.split("\\[| ");

le "[" du "String[ ]" est perdu !!!!

[thelvin]

Hello,

les expressions régulières ne peuvent pas servir pour l'analyse lexicale.
Il faut soit le programmer entièrement toi-même, soit utiliser une bibliothèque d'analyse lexicale/grammaticale, comme JavaCC.

[abbescr7]

je suis obligé de la programmer moi même je veux juste savoir comment sa marche pour pouvoir continuer tous seul
par exemple pour String[], je dois trouvé
String
[
]

[dinobogan]

Tu dois analyser ta chaine caractère par caractère jusqu'à trouver un mot contenu dans ton dictionnaire.

[Carhiboux]

Tu dois analyser ta chaine caractère par caractère jusqu'à trouver un mot contenu dans ton dictionnaire.

Et donc, si, par hasard, dans ton dictionnaire tu as "int" et "integer", tu fais comment pour différencier les deux?

Mais la question n'est pas évidente. J'imagine qu'il faut essayer de déterminer toutes les possibilités, notament les tableaux avec les [], les fonctions avec les (), etc...

Donc trouver quels sont les séparateurs (l'espace ou le saut de ligne souvent), quels sont les préfixes ou les suffixes qui existent, et les tester.

[dinobogan]

Et donc, si, par hasard, dans ton dictionnaire tu as "int" et "integer", tu fais comment pour différencier les deux?

Ca c'est le niveaux 2 de l'analyse lexicale. Je ne voulais pas embrouiller le demandeur car sa demande est très vague. Mais puisque le soucis est soulevé, autant y répondre maintenant
Voici une solution possible : lorsqu'un mot est trouvé, il faut vérifier si le dictionnaire contient un mot plus grand dont le préfixe vient d'être trouvé. Si non, alors le mot est trouvé, si oui alors vérifier un caractère supplémentaire du texte pour tenter d'y trouver un mot plus grand. Si aucun mot plus grand ne correspond, alors revenir en arrière sur le texte et prendre le mot initial.

Mais la question n'est pas évidente. J'imagine qu'il faut essayer de déterminer toutes les possibilités, notament les tableaux avec les [], les fonctions avec les (), etc...

Attention, il parle d'analyse lexicale, pas syntaxique. Lors de l'analyse lexicale, il n'y a pas de notion de tableau, fonction...

[abbescr7]

Tu dois analyser ta chaine caractère par caractère jusqu'à trouver un mot contenu dans ton dictionnaire.

Salut dinobogan
j'ai decouper mon fichier txt avec un split("\\s") , et j'ai mis tous les mot decouper dans un tableau tabmot
j'ai implémenter 4 liste (mot clef identificateur séparateur opérateur)
j'ai mis tous mes liste dans une Map

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
 
for(String mot : tabmot ) {
		     Optional<ListePosition> position = ListePosition.chercher(listes, mot);
		     if ( position.isPresent() ) {
			position.ifPresent(e-> System.out.printf("%s[%d]\n", e.getNomListe(), e.getIndexDansLaListe()+1)); 
		     }
		     else {
			System.out.println(mot+ " : mot introuvable " );
		     }}

comment faire pour decouper les mot collé par exemple String[]
je dois avoir String mot clé , [ separateur , ] separateur !!!!

[dinobogan]

Une analyse lexicale doit se faire caractère par caractère. Utiliser des expressions régulières est bien trop compliqué.
Tu peux par exemple faire une analyse lexicale en plusieurs passe. La première passe va faire la séparation entre les identificateurs (au sens large) et les non-identificateurs.
Un identificateur est une suite de caractères telle que ça commence par [a-zA-Z_] et continue par des lettres ou des chiffres. Lorsqu'un caractère autre que ça est trouvé, alors un identificateur est trouvé et mis de côté.
Un "non-identificateur", c'est tout le reste. A ce niveau, tu pourrais tomber sur le problème d'un non-identificateur avec deux symboles comme l'incrémentation unaire en Java par exemple. Tu peux choisir de dire que ce genre de symbole est une suite de deux symboles distincts et c'est l'analyse grammaticale qui va s'en charger.
La seconde passe va s'occuper de faire la différence entre les identificateurs : variable, mot-clé... Tu peux même dans cette passe faire des règles de collage pour les symboles successifs comme l'incrémentation unaire (si tu ne veux pas le faire dans l'analyse grammaticale).