[Débutant][Token] découper une chaine

Version imprimable

02/07/2004, 09h38
_Eric_

[Débutant][Token] découper une chaine

Bonjour,

je cherche à découper le contenu d'un fichier texte. Le découpage doit se faire avec un séparateur de 2 caractères (ex: "µ¤").

Je travail avec JDK1.3, donc pas de Split, et en ce qui concerne StringTokenizer apparement ça fonctionne uniquement avec un caractère et pas avec une chaîne !?

Qqu à une idée ?
02/07/2004, 09h50
Glob

Mmmh... je dois avouer ne jamais avoir été confronté au problème, donc j'ignore si l'API fourni ce genre de service.

Cependant, tu peux te créer un MultiCharStringTokeniser qui fait ce boulot. En jouant avec les méthodes String.indexOf(String), y'a moyen d'avoir rapidement quelque chose de fonctionnel.

Non non ça marche
Code:

1 2 3 StringTokenizer st = new StringTokenizer(taChaineaParser, "µ¤"); String firstToken = st.nextToken();
Je travaille avec la jsdk 1.4

02/07/2004, 09h51
SEMPERE Benjamin

Et n'oublie pas la gestion des pointeurs null :wink:
02/07/2004, 09h56
duj
Salut,

seul petit détail : en fait, il tokenize en considérant les 2 caractères séparément. Ce qui veut dire que si tu a un seul caractère à certaines endroits, et que tu ne veux pas l'enlever, ben c'est foutu !

donc, une chaine comme ceci
Code:

1 2 StringTokenizer st = new StringTokenizer(taChaineaParser, "µ¤"); String firstToken = st.nextToken();
appliquée à
Code:

1 2 abcµ¤defµghi¤jkl
donnera
Code:

1 2 abc def ghi jkl
et pas
Code:

1 2 abc defµghi¤jkl
02/07/2004, 10h08
_Eric_

content de voir qu'il y a du monde à l'écoute, merci.

Duj a raison, le problème est que le test ne se fait pas avec la chaîne mais avec les caractères un à un...

Sinon je ne connais pas "MultiCharStringTokeniser" et "String.indexOf(String)", je vais voir ce que je trouve la dessus.
02/07/2004, 10h26
duj

Si j'ai bien lu, MultiCharStringTokenizer, c'est une classe que tu devrais écrire toi même,...

J'ai quelquepart un programme qui faisait exactement ce que tu veux, mais je n'ai pas le temps de chercher maintenant. Si tu n'as rien trouvé à 13Hr, je mettrai le code (que je suis pratiquement certain de retrouver :P )
02/07/2004, 10h44
_Eric_

ce serait parfait...:)
02/07/2004, 11h15
Glob

Citation:

Envoyé par duj

Si j'ai bien lu, MultiCharStringTokenizer, c'est une classe que tu devrais écrire toi même,...

Effectivement. :lol:
02/07/2004, 11h20
SEMPERE Benjamin

Je ne pensais pas que StrinkTokenizer utilisait les deux caracteres separement dans mon cas mon delimiter ne comportait toujours qu une string d une longueur egale a un.

desole :wink:

C'est quelquechose du genre :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
 
// true pour récupérer le délimiteur comme un token
StringTokenizer parser = new StringTokenizer(taChaineaParser, "µ¤", true);
 
ArrayList result = new ArrayList();
 
while (parser.hasMoreTokens()) {
  String token = parser.nextToken();
  if (!"µ".equals(token) && ! "¤".equals(token)) {
    result.add(token);
  }
  else if ("µ".equals(token)) {
     String nextToken = parser.nextToken();
     if (!"¤".equals(nextToken)) {
       result.add(token);
       result.add(nextToken);
     }
  }
  else {
    result.add(token);
  }
}

Ou sinon, voici un programme qui fait ça.
Il est sensé fonctionner correctement puisque j'ai un jour du le prouver.

J'ai laissé les spécifications formelles et l'invariant de boucle.

pour l'utiliser, regarder la méthode main, la methode tokenize retourne une liste de String

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
import java.util.ArrayList;
import java.util.*;
 
/**
 * @author duj
 */
public class Tokenizer {
 
    public static void main(String[] args) {
		String s= "AB123A456AB789CAB";
		String pattern= "AB";
		System.out.println(tokenize(s, pattern));
		s= "AB123ABC456AB789CAB";
		pattern= "ABC";
		System.out.println(tokenize(s, pattern));
        s= "AB123ABC456AB789CABC";
                pattern= "ABC";
                System.out.println(tokenize(s, pattern));
	}
 
 
	/**
         * But: tokenize str selon  pattern 
         * pre: str != null && pattern != null
         */
	public static List tokenize(String str, String pattern) {
		return tokenize(str.toCharArray(), pattern.toCharArray());
	}
 
	/**
         * But: tokenize tab selon un pattern p
         * @pre:tab != null && p != null
         * @post: return List l qui contient les sous-chaines l[1]...l[n] de tab tel que:
         *    pour tout t app à  l : t ne contient pas p et t.length>0
         *    tab == p? l[0] p l[1] p ..... l[n] p?
         */
	private static List tokenize(char[] tab, char[] p) {
		List l= new ArrayList();
		int i= 0;
		int j= 0;
		int k= 0;
		/*pre:   l.length==0 && i==0 && j==0  && k==0
		 *post : i==tab.length && la post de tokenize
		 */
		/*
		 *INV: 1. 0<=j+k<=tab.length
		 *     2. 0<=i<=j
		 *     3. 0<=k<=p.length
		 *     2. tab[i-p.length i[==p[0 p.length[
		 *     4. l  contient les sous-chaines l[1]...l[n] de tab[0 i[ tel que:
		 *              pour tout t app à  l : t ne contient pas p et t.length>0
		 *              tab == p? l[0] p l[1] p ..... l[n] p?
		 */
		while (j + k != tab.length) {
			if (k == p.length) {
				if (i != j) {
					l.add(substring(tab, i, j));
				}
				j= j + k;
				k= 0;
				i= j;
			} else if (tab[j + k] == p[k]) {
				k++;
			} else {
				k= 0;
				j++;
			}
		}
		if (i != j) {
			if (k == p.length) {
				l.add(substring(tab, i, j));
			} else {
				l.add(substring(tab, i, j + k));
			}
		}
		return l;
 
	}
 
	/**
         * @pre:tab!=null
         *       0<=i<=i<=tab.lenght
         * @post:
         *      return  un string representant tab[i j[ 
         */
	private static String substring(char[] tab, int i, int j) {
		int length= j - i;
		char[] str= new char[length];
		arrayCopy(tab, str, i, length);
		return new String(str);
	}
 
	/**
         * @pre: src !=null src est un array dest != null dest est un array
         * @post: dest[0:length[=src[i:i+length[
         */
	private static void arrayCopy(Object src, Object dest, int i, int length) {
		System.arraycopy(src, i, dest, 0, length);
	}
 
	}

06/07/2004, 01h38
_Eric_

Ok merci, le prog de Duj fonctionne, par contre celui de Thibaut ne fonctionne pas mais

Citation:

C'est quelquechose du genre
06/07/2004, 01h40
_Eric_

Ok merci, le prog de Duj fonctionne, par contre celui de Thibaut ne fonctionne pas mais

Citation:

C'est quelquechose du genre

Correction :twisted:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
        StringTokenizer parser = new StringTokenizer(chaine, "µ¤", true);
        ArrayList result = new ArrayList();
        StringBuffer temp = new StringBuffer();
 
        while (parser.hasMoreTokens()) {
            String token = parser.nextToken();
            if (!"µ".equals(token) && !"¤".equals(token)) {
                temp.append(token);
            }
            else if ("µ".equals(token)) {
                String nextToken = parser.nextToken();
                if (!"¤".equals(nextToken)) {
                    temp.append(token);
                    temp.append(nextToken);
                }
                else {
			        if (temp.length() >0) {
			        	result.add(temp);
			        }
                	temp = new StringBuffer();
                }
            }
            else {
                temp.append(token);
            }
        }
 
        if (temp.length() >0) {
        	result.add(temp);
        }