Discussion :

[_Eric_]

Bonjour,

je cherche à découper le contenu d'un fichier texte. Le découpage doit se faire avec un séparateur de 2 caractères (ex: "µ¤").

Je travail avec JDK1.3, donc pas de Split, et en ce qui concerne StringTokenizer apparement ça fonctionne uniquement avec un caractère et pas avec une chaîne !?

Qqu à une idée ?

[Glob]

Mmmh... je dois avouer ne jamais avoir été confronté au problème, donc j'ignore si l'API fourni ce genre de service.

Cependant, tu peux te créer un MultiCharStringTokeniser qui fait ce boulot. En jouant avec les méthodes String.indexOf(String), y'a moyen d'avoir rapidement quelque chose de fonctionnel.

[SEMPERE Benjamin]

Non non ça marche

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
StringTokenizer st = new StringTokenizer(taChaineaParser, "µ¤");
String firstToken = st.nextToken();

Je travaille avec la jsdk 1.4

[SEMPERE Benjamin]

Et n'oublie pas la gestion des pointeurs null

[duj]

Salut,

seul petit détail : en fait, il tokenize en considérant les 2 caractères séparément. Ce qui veut dire que si tu a un seul caractère à certaines endroits, et que tu ne veux pas l'enlever, ben c'est foutu !

donc, une chaine comme ceci

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
StringTokenizer st = new StringTokenizer(taChaineaParser, "µ¤"); 
String firstToken = st.nextToken();

appliquée à

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
abcµ¤defµghi¤jkl

donnera

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
abc def ghi jkl

et pas

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
abc  defµghi¤jkl

[_Eric_]

content de voir qu'il y a du monde à l'écoute, merci.

Duj a raison, le problème est que le test ne se fait pas avec la chaîne mais avec les caractères un à un...

Sinon je ne connais pas "MultiCharStringTokeniser" et "String.indexOf(String)", je vais voir ce que je trouve la dessus.

[duj]

Si j'ai bien lu, MultiCharStringTokenizer, c'est une classe que tu devrais écrire toi même,...

J'ai quelquepart un programme qui faisait exactement ce que tu veux, mais je n'ai pas le temps de chercher maintenant. Si tu n'as rien trouvé à 13Hr, je mettrai le code (que je suis pratiquement certain de retrouver )

[_Eric_]

ce serait parfait...

[Glob]

Si j'ai bien lu, MultiCharStringTokenizer, c'est une classe que tu devrais écrire toi même,...

Effectivement.

[SEMPERE Benjamin]

Je ne pensais pas que StrinkTokenizer utilisait les deux caracteres separement dans mon cas mon delimiter ne comportait toujours qu une string d une longueur egale a un.

desole

[thibaut]

C'est quelquechose du genre :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
 
// true pour récupérer le délimiteur comme un token
StringTokenizer parser = new StringTokenizer(taChaineaParser, "µ¤", true);
 
ArrayList result = new ArrayList();
 
while (parser.hasMoreTokens()) {
  String token = parser.nextToken();
  if (!"µ".equals(token) && ! "¤".equals(token)) {
    result.add(token);
  }
  else if ("µ".equals(token)) {
     String nextToken = parser.nextToken();
     if (!"¤".equals(nextToken)) {
       result.add(token);
       result.add(nextToken);
     }
  }
  else {
    result.add(token);
  }
}

[duj]

Ou sinon, voici un programme qui fait ça.
Il est sensé fonctionner correctement puisque j'ai un jour du le prouver.

J'ai laissé les spécifications formelles et l'invariant de boucle.

pour l'utiliser, regarder la méthode main, la methode tokenize retourne une liste de String

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
import java.util.ArrayList;
import java.util.*;
 
/**
 * @author duj
 */
public class Tokenizer {
 
    public static void main(String[] args) {
		String s= "AB123A456AB789CAB";
		String pattern= "AB";
		System.out.println(tokenize(s, pattern));
		s= "AB123ABC456AB789CAB";
		pattern= "ABC";
		System.out.println(tokenize(s, pattern));
        s= "AB123ABC456AB789CABC";
                pattern= "ABC";
                System.out.println(tokenize(s, pattern));
	}
 
 
	/**
         * But: tokenize str selon  pattern 
         * pre: str != null && pattern != null
         */
	public static List tokenize(String str, String pattern) {
		return tokenize(str.toCharArray(), pattern.toCharArray());
	}
 
	/**
         * But: tokenize tab selon un pattern p
         * @pre:tab != null && p != null
         * @post: return List l qui contient les sous-chaines l[1]...l[n] de tab tel que:
         *    pour tout t app à  l : t ne contient pas p et t.length>0
         *    tab == p? l[0] p l[1] p ..... l[n] p?
         */
	private static List tokenize(char[] tab, char[] p) {
		List l= new ArrayList();
		int i= 0;
		int j= 0;
		int k= 0;
		/*pre:   l.length==0 && i==0 && j==0  && k==0
		 *post : i==tab.length && la post de tokenize
		 */
		/*
		 *INV: 1. 0<=j+k<=tab.length
		 *     2. 0<=i<=j
		 *     3. 0<=k<=p.length
		 *     2. tab[i-p.length i[==p[0 p.length[
		 *     4. l  contient les sous-chaines l[1]...l[n] de tab[0 i[ tel que:
		 *              pour tout t app à  l : t ne contient pas p et t.length>0
		 *              tab == p? l[0] p l[1] p ..... l[n] p?
		 */
		while (j + k != tab.length) {
			if (k == p.length) {
				if (i != j) {
					l.add(substring(tab, i, j));
				}
				j= j + k;
				k= 0;
				i= j;
			} else if (tab[j + k] == p[k]) {
				k++;
			} else {
				k= 0;
				j++;
			}
		}
		if (i != j) {
			if (k == p.length) {
				l.add(substring(tab, i, j));
			} else {
				l.add(substring(tab, i, j + k));
			}
		}
		return l;
 
	}
 
	/**
         * @pre:tab!=null
         *       0<=i<=i<=tab.lenght
         * @post:
         *      return  un string representant tab[i j[ 
         */
	private static String substring(char[] tab, int i, int j) {
		int length= j - i;
		char[] str= new char[length];
		arrayCopy(tab, str, i, length);
		return new String(str);
	}
 
	/**
         * @pre: src !=null src est un array dest != null dest est un array
         * @post: dest[0:length[=src[i:i+length[
         */
	private static void arrayCopy(Object src, Object dest, int i, int length) {
		System.arraycopy(src, i, dest, 0, length);
	}
 
	}

[_Eric_]

Ok merci, le prog de Duj fonctionne, par contre celui de Thibaut ne fonctionne pas mais

C'est quelquechose du genre

[_Eric_]

Ok merci, le prog de Duj fonctionne, par contre celui de Thibaut ne fonctionne pas mais

C'est quelquechose du genre

[thibaut]

Correction

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
        StringTokenizer parser = new StringTokenizer(chaine, "µ¤", true);
        ArrayList result = new ArrayList();
        StringBuffer temp = new StringBuffer();
 
        while (parser.hasMoreTokens()) {
            String token = parser.nextToken();
            if (!"µ".equals(token) && !"¤".equals(token)) {
                temp.append(token);
            }
            else if ("µ".equals(token)) {
                String nextToken = parser.nextToken();
                if (!"¤".equals(nextToken)) {
                    temp.append(token);
                    temp.append(nextToken);
                }
                else {
			        if (temp.length() >0) {
			        	result.add(temp);
			        }
                	temp = new StringBuffer();
                }
            }
            else {
                temp.append(token);
            }
        }
 
        if (temp.length() >0) {
        	result.add(temp);
        }