Ma String est-elle compatible Latin1 ?

**Foub** · 18/04/2008, 00h00

Bonsoir,

comment puis-je tester si les différents caractères contenus dans ma chaine de caractères font bien partis de la table ISO-8859-1 (latin1) ?

Avant de stocker une chaine de caractères dans une base de données dont le charset est défini sur latin1, comment puis-je m'assurer que ma chaîne de caractères ne comportent pas des caractères qui ne peuvent pas être conservés ?

Merci pour votre réponse,
F.

**adiGuba** · 18/04/2008, 09h30

Salut,

Tu peux utiliser les CharsetEncoder et la méthode canEncode() :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
	String str = ...
 
	CharsetEncoder encoder = Charset.forName("iso-8859-1").newEncoder();
	boolean ok = encoder.canEncode(str);

a++

**Foub** · 18/04/2008, 09h33

Merci beaucoup pour ta réponse.
Super

F.

**Tommy31** · 18/04/2008, 10h16

Mmmm, ca me paraît pas correct....

Si je fais ca:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
 
		CharsetEncoder iso8859Encoder = Charset.forName("iso-8859-1")
				.newEncoder();
		CharsetEncoder utf8Encoder = Charset.forName("UTF-8").newEncoder();
 
		String s = "éàü";
 
		String utf8S = new String(utf8Encoder.encode(
				CharBuffer.wrap(s.toCharArray())).array());
 
		System.out.println(utf8S);
 
		System.out.println(iso8859Encoder.canEncode(utf8S));

Le code retourne true alors que la chaine est UTF-8.

**adiGuba** · 18/04/2008, 10h47

Envoyé par Tommy31

Le code retourne true alors que la chaine est UTF-8.

La chaine n'est pas en UTF-8 !!!

En interne en Java toutes les Strings sont encodés en UTF-16 :

A String represents a string in the UTF-16 format

Tout comme les char/Character d'ailleurs :

The Java 2 platform uses the UTF-16 representation in char arrays and in the String and StringBuffer classes

Donc c'est une erreur de dire qu'une String utilise un encodage quelconque.

Ce n'est que lors des opérations d'entrées/sorties que l'on utilise un encodage (conversion vers des bytes, fichiers, BD, ...), et là on a alors en fait une conversion UTF-16<->encodage désiré...

Donc ici ta chaine "éàü" comporte trois caractères qui sont parfaitement encodable en iso-latin1...

Maintenant si tu fais ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
	String str = "1€";
 
	CharsetEncoder encoder = Charset.forName("iso-8859-1").newEncoder();
	boolean ok = encoder.canEncode(str);

Tu obtiendras un joli "false" car le caractère "€" n'est pas représentable dans iso-8859-1...

a++

**Tommy31** · 18/04/2008, 11h12

Mmm, tjs pas d'accord.

Cette chaîne "éàü" lorsque je l'affecte à ma string est stockée selon un encodage utf-16. Ca d'accord.

Mais lorsque j'écris ca:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
String utf8S = new String(utf8Encoder.encode(
				CharBuffer.wrap(s.toCharArray())).array());

Ma chaîne est encodé UTF-8, c'est à dire que les octets composant la chaîne se conforment au nouvel encodage. On peut s'en assurer en écrivant le train d'octet:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
               for (Byte b : utf8S.getBytes()) {
			System.out.println(b);
		}

Par contre pour ton code, ok. En fait la question portait sur savoir s'il y avait des caractères non encodables. Auquel cas ta solution est bonne

Moi j'étais parti sur l'idée de savoir si la chaîne soumise était encodée en iso ou pas. Or lorsque la chaîne soumise est sous un encodage dont le jeu de caractère est un sous-ensemble de iso-8859-1, ta méthode ne le décelais pas.

Bon bon, donc right answer...

**Tommy31** · 18/04/2008, 11h14

En même temps ça m'étonnait que tu te sois planté...

**adiGuba** · 18/04/2008, 11h53

Ta chaine n'est pas encodé en UTF8 mais "n'importe comment" !

D'ailleurs si tu l'affiches dans la console ou un composant Swing tu obtiendra n'importe quoi...

C'est une erreur typique que de croire qu'une String est associé à un encodage. Comme je l'ai dit les String sont toujours représenté en UTF16. Par contre lorsqu'on manipule des fichiers on lit des bytes qui peuvent représenter une

Envoyé par Tommy31

Mais lorsque j'écris ca:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
String utf8S = new String(utf8Encoder.encode(
				CharBuffer.wrap(s.toCharArray())).array());

Ma chaîne est encodé UTF-8, c'est à dire que les octets composant la chaîne se conforment au nouvel encodage.

En décomposant ton code on obtient ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
	String s = "éàü";
	char[] array = s.toCharArray();
	CharBuffer charBuffer = CharBuffer.wrap(s.toCharArray());
 
	ByteBuffer byteBuffer = utf8Encoder.encode(charBuffer);
	byte[] bytes = byteBuffer.array();
 
	String utf8S = new String(bytes);

Je pense que tu es d'accord avec moi pour dire que les trois premières lignes ne changent en rien le contenu : ce n'est qu'une conversion de type mais les caractères sont toujours représenté de la même manière.

La ligne la plus intérressante concerne l'appel à encode(), qui transforme un CharBuffer (en UTF-16 donc) vers un ByteBuffer (en UTF-8).

Enfin tu fais new String(bytes), avec bytes qui représentent donc un texte encodé en UTF-8, qui devrait refaire l'opération inverse (de UTF-8 vers UTF-16).

Or si on regarde la javadoc de String(byte[]), on peut lire ceci :

Constructs a new String by decoding the specified array of bytes using the platform's default charset.

bytes est donc interprété selon l'encodage par défaut. Donc cela donnera n'importe quoi a moins que ton système utilise l'UTF-8 (c'est assez courant sous Linux).

Par exemple sous Windows cela revient à faire une conversion de windows-1252 vers UTF-16 en prenant en entrée de l'UTF-8

Donc a se noter en gros quelque part : En Java il est abbérant de vouloir changer l'encodage d'une String !
Les String sont encodé en UTF-16 point barre !

Les autres encodages sont utilisés uniquement pour les communications "en dehors", par exemple vers un fichier, une base de données...

a++

**Foub** · 18/04/2008, 13h36

Merci à tous pour votre réponse.

La réponse suivante me convient parfaitement : «

Maintenant si tu fais ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
 
 
	String str = "1€";
 
	CharsetEncoder encoder = Charset.forName("iso-8859-1").newEncoder();
	boolean ok = encoder.canEncode(str);
 
Tu obtiendras un joli "false" car le caractère "€" n'est pas représentable dans iso-8859-1...
 
a++

».

**daronmaster** · 24/04/2008, 10h53

Envoyé par adiGuba

Ta chaine n'est pas encodé en UTF8 mais "n'importe comment" !

D'ailleurs si tu l'affiches dans la console ou un composant Swing tu obtiendra n'importe quoi...

Bonjour, j'aimerai savoir comment faire pour afficher une string correctement dans un composant swing et ce peut importe le systeme sur lequel je suis (windows/linux) car je n'ai pas saisi tout ce qui a été dit.

merci pour votre aide

**adiGuba** · 24/04/2008, 10h55

Il n'y a rien de particulier à faire pour afficher correctement une String dans un composant Swing.

Si tu as un problème d'affichage cela vient de ta chaine qui est mal lu, par exemple si elle provient d'un fichier encodé en UTF8 que tu lirais comme un fichier iso-latin1...

a++

**daronmaster** · 24/04/2008, 11h19

en fait je t'expose mon probleme:

je lis une string dans un fichier et je l'affiche dans un composant swing.

le probleme c'est que suivant l'OS, l'affichage déconne (windows principalement).

j'utilise un bufferedReader et j'utilise la methode readline() qui renvoie une string.

Est-ce une mauvaise maniere pour ce que je dois faire ?

si tel est le cas que me conseille tu ?

merci

**adiGuba** · 24/04/2008, 11h33

Quel est l'encodage du fichier ?

BufferedReader n'est pas un problème, par contre il faut préciser l'encodage que tu utilises pour la lecture !

Avec new FileReader("fichier") tu utilises l'encodage par défaut du système, et tu as donc un comportement aléatoire selon le système : si l'encodage par défaut du système est le même que celui du fichier tout fonctionnera correctement, sinon tu auras des caractères invalides !

Tu dois donc spécifier l'encodage du fichier, et pour cela utiliser directement InputStreamReader à la place, car malheureusement Sun n'a jamais intégré la gestion de l'encodage au niveau des FileReader :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
// Pour lire un fichier en UTF8 :
new InputStreamReader(new FileInputStream("fichier"), "utf8")

A la rigueur tu pourrais te faire ton propre FileReader en rajoutant les constructeurs qui spécifie l'encodage :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
class MyFileReader extends InputStreamReader {
 
	/**
         * Creates a new <tt>FileReader</tt>, given the name of the file to read
         * from.
         * 
         * @param fileName
         *            the name of the file to read from
         * @exception FileNotFoundException
         *                if the named file does not exist, is a directory rather
         *                than a regular file, or for some other reason cannot be
         *                opened for reading.
         */
	public MyFileReader(String fileName) throws FileNotFoundException {
		super(new FileInputStream(fileName));
	}
 
	public MyFileReader(String fileName, Charset charset)
			throws FileNotFoundException {
		super(new FileInputStream(fileName), charset);
	}
 
	public MyFileReader(String fileName, String charsetName)
			throws FileNotFoundException, UnsupportedCharsetException {
		this(fileName, Charset.forName(charsetName));
	}
 
	/**
         * Creates a new <tt>FileReader</tt>, given the <tt>File</tt> to read
         * from.
         * 
         * @param file
         *            the <tt>File</tt> to read from
         * @exception FileNotFoundException
         *                if the file does not exist, is a directory rather than a
         *                regular file, or for some other reason cannot be opened
         *                for reading.
         */
	public MyFileReader(File file) throws FileNotFoundException {
		super(new FileInputStream(file));
	}
 
	public MyFileReader(File file, Charset charset)
			throws FileNotFoundException {
		super(new FileInputStream(file), charset);
	}
 
	public MyFileReader(File file, String charsetName)
			throws FileNotFoundException, UnsupportedCharsetException {
		this(file, Charset.forName(charsetName));
	}
 
	/**
         * Creates a new <tt>FileReader</tt>, given the <tt>FileDescriptor</tt>
         * to read from.
         * 
         * @param fd
         *            the FileDescriptor to read from
         */
	public MyFileReader(FileDescriptor fd) {
		super(new FileInputStream(fd));
	}
 
	public MyFileReader(FileDescriptor fd, Charset charset)
			throws FileNotFoundException {
		super(new FileInputStream(fd), charset);
	}
 
	public MyFileReader(FileDescriptor fd, String charsetName)
			throws FileNotFoundException, UnsupportedCharsetException {
		this(fd, Charset.forName(charsetName));
	}
}

Maintenant si tu ne connais pas à l'avance l'encodage de ton fichier c'est plus complexe. Je sais qu'il existe des APIs (externes) permettant de le détecter mais j'ignore comment elles fonctionnent...

a++

**daronmaster** · 24/04/2008, 12h17

ok je te remercie, je vais regarder ça, et pour l'encodage du fichier je vais me débrouiller

merci encore

**Foub** · 24/04/2008, 18h14

plus simple : utiliser l'API commons-io d'Apache :

De mémoire :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
FileUtils.readFileToString(File, "UTF-8");
FileUtils.writeStringToFile(File, String, "UTF-8");

**daronmaster** · 29/04/2008, 10h50

Salut adiguba,

j'ai une autre question, voici comment je dois "matcher" mon fichier :

ligne1
ligne2
ligne3
ligne4

et je dois extraire les lignes une par une, et je crois que le inputFileReader ne peut faire cela (il se peut que je me trompe)

pour info : j'ai trouvé l'encodage: c'est du utf-8

merci encore pour ton aide

**daronmaster** · 29/04/2008, 10h59

si je me suis mal fait comprendre dites-le moi que je réexplique

**Foub** · 29/04/2008, 12h35

Comme ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
String str = "...";
String[] tab = str.split("\n");
 
for(int i = 0; i < tab.length; i++) {
String ligne = tab[i];
}

**daronmaster** · 29/04/2008, 12h55

ok pour la méthode split (je ne la connaissai pas) mais comment obtenir une string à partir de mon InputStreamReader ?

je préfère me répéter afin que vous n'ayez pas à revenir en arrière(page précédente) :

mon pb : je dois extraire ces lignes d'un fichier encodé en utf-8 afin de pouvoir à les incorporer à un composant swing sans avoir de probleme d'affichage (notamment les accents) sur les plateforme où le logiciel sera executé (Windows, linux ...)