Un Tokenizer Delphi

**Scarz** · 23/06/2006, 10h56

Bonjour à tous,

Je poste ici car je ne trouve pas mon bonheur dans les FAQ Delphi et autre postes.

Le titre parle de lui meme mais je vais quand meme vous l'expliciter:
Je suis en stage... (jusque la, vous me dirai qu'il n'y a aucun rapport avec Delphi, mais...).
Je doit faire un assistant/analyseur syntaxique en Delphi... pour un langage que la societe où je suis à creer.
Donc, pour faire ca, il faut un Tokenizer, mais le probleme c'est que je n'en trouve pas...
J'utilise deja le composant TSynEdit pour la coloration de ce langage maison.

Je fais donc appel a vous et vous demande si vous n'avez pas un lien ou un projet semblable qui pourrait m'aider à avancer.

Merci d'avance...

___________
http://boubalou.miniville.fr

**F.Victoire** · 23/06/2006, 11h31

Hello,

j'ai écrit dans un projet Delphi la classe StringTokenizer définit dans java.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
 
unit UStringTokenizer;
 
 
interface
uses classes, Utype;
type
    StringTokenizer = class
      protected
        liste : TList;     // liste des mots séparés.
        indexCourant : integer;
 
      public
        constructor create(st: string; car : char);
        function hasMoreTokens():boolean;
        function nextToken():string;
    end;
 
implementation
 
constructor StringTokenizer.create(st: string; car : char);
var
  i,j: integer;
  mot :TTString;
  chaine : String;
begin
   liste := TList.create;
   chaine := '';
   for i:= 1 to length(st) do
   begin
      if (st[i] = car) and (chaine <>'') then
      begin
          mot  := TTSTring.create;
          mot.value := chaine;
          liste.add(mot);
          chaine :='';
      end
      else
          chaine := chaine + st[i];
   end;
 
   // Le dernier mot
   if (chaine<> '') then
   begin
          mot  := TTSTring.create;
          mot.value := chaine;
          liste.add(mot);
          chaine :='';
   end;
 
   indexCourant := 0;
 
end;
 
function StringTokenizer.hasMoreTokens():boolean;
begin
     result := (indexCourant < liste.count);
end;
 
function StringTokenizer.nextToken():string;
begin
   Result := TTString(liste.Items[indexCourant]).value;
   inc(indexCourant);
end;
 
end.

**F.Victoire** · 23/06/2006, 11h40

Désolé, j'ai oublié de fournir la classe TTString que j'ai écrite. Cette classe encapsulate un objet string. Elle n'est pas absolument necessaire mais cela évite de gérer une liste de pointeur sur string (attribut liste:TList qui n'accepte que des pointeurs).

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
 
type
    TTString = class(TObjt)
      public
             value : string;
      public
            constructor create;
            function equals(obj : TObjt):boolean;override;
            function hashCode():integer;override;
            function toString():string;override;
      end;
 
implementation
 
constructor TTSTring.create;
begin
    value := '';
end;
 
function TTString.equals(obj : TObjt):boolean;
begin
    Result := ((obj<>nil) and (TTString(obj).value = value));
end;
 
function TTString.toString():string;
begin
  Result := value;
end;
 
function TTString.hashCode():integer;
var i: integer;
begin
     Result := 0;
     for i:= 1 to length(value) do
     begin
        Result := Result + ord(value[i]);
     end;
end;