Un Tokenizer Delphi

Version imprimable

23/06/2006, 10h56
Scarz

Un Tokenizer Delphi

Bonjour à tous,

Je poste ici car je ne trouve pas mon bonheur dans les FAQ Delphi et autre postes.

Le titre parle de lui meme mais je vais quand meme vous l'expliciter:
Je suis en stage... (jusque la, vous me dirai qu'il n'y a aucun rapport avec Delphi, mais...).
Je doit faire un assistant/analyseur syntaxique en Delphi... pour un langage que la societe où je suis à creer.
Donc, pour faire ca, il faut un Tokenizer, mais le probleme c'est que je n'en trouve pas...
J'utilise deja le composant TSynEdit pour la coloration de ce langage maison.

Je fais donc appel a vous et vous demande si vous n'avez pas un lien ou un projet semblable qui pourrait m'aider à avancer.

Merci d'avance...

___________
http://boubalou.miniville.fr

Hello,

j'ai écrit dans un projet Delphi la classe StringTokenizer définit dans java.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
 
unit UStringTokenizer;
 
 
interface
uses classes, Utype;
type
    StringTokenizer = class
      protected
        liste : TList;     // liste des mots séparés.
        indexCourant : integer;
 
      public
        constructor create(st: string; car : char);
        function hasMoreTokens():boolean;
        function nextToken():string;
    end;
 
implementation
 
constructor StringTokenizer.create(st: string; car : char);
var
  i,j: integer;
  mot :TTString;
  chaine : String;
begin
   liste := TList.create;
   chaine := '';
   for i:= 1 to length(st) do
   begin
      if (st[i] = car) and (chaine <>'') then
      begin
          mot  := TTSTring.create;
          mot.value := chaine;
          liste.add(mot);
          chaine :='';
      end
      else
          chaine := chaine + st[i];
   end;
 
   // Le dernier mot
   if (chaine<> '') then
   begin
          mot  := TTSTring.create;
          mot.value := chaine;
          liste.add(mot);
          chaine :='';
   end;
 
   indexCourant := 0;
 
end;
 
function StringTokenizer.hasMoreTokens():boolean;
begin
     result := (indexCourant < liste.count);
end;
 
function StringTokenizer.nextToken():string;
begin
   Result := TTString(liste.Items[indexCourant]).value;
   inc(indexCourant);
end;
 
end.

petit rectificatif

Désolé, j'ai oublié de fournir la classe TTString que j'ai écrite. Cette classe encapsulate un objet string. Elle n'est pas absolument necessaire mais cela évite de gérer une liste de pointeur sur string (attribut liste:TList qui n'accepte que des pointeurs).

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
 
type
    TTString = class(TObjt)
      public
             value : string;
      public
            constructor create;
            function equals(obj : TObjt):boolean;override;
            function hashCode():integer;override;
            function toString():string;override;
      end;
 
implementation
 
constructor TTSTring.create;
begin
    value := '';
end;
 
function TTString.equals(obj : TObjt):boolean;
begin
    Result := ((obj<>nil) and (TTString(obj).value = value));
end;
 
function TTString.toString():string;
begin
  Result := value;
end;
 
function TTString.hashCode():integer;
var i: integer;
begin
     Result := 0;
     for i:= 1 to length(value) do
     begin
        Result := Result + ord(value[i]);
     end;
end;

23/06/2006, 12h14
sjrd

Un tutoriel sur le sujet : Les lexers par Olivier Lance.
23/06/2006, 14h20
inoussa

Avec Delphi tu as déjà TPaser dans l'unité Classes.
14/05/2007, 12h47
Scarz

Merci a vous tous pour vos reponses plus qu'utiles.

--
http://www.trop-fort.net/?news=75315