Ma String est-elle compatible Latin1 ?

Version imprimable

18/04/2008, 01h00
Foub

Ma String est-elle compatible Latin1 ?

Bonsoir,

comment puis-je tester si les différents caractères contenus dans ma chaine de caractères font bien partis de la table ISO-8859-1 (latin1) ?

Avant de stocker une chaine de caractères dans une base de données dont le charset est défini sur latin1, comment puis-je m'assurer que ma chaîne de caractères ne comportent pas des caractères qui ne peuvent pas être conservés ?

Merci pour votre réponse,
F.

Salut,

Tu peux utiliser les CharsetEncoder et la méthode canEncode() :
Code:

1 2 3 4 String str = ... CharsetEncoder encoder = Charset.forName("iso-8859-1").newEncoder(); boolean ok = encoder.canEncode(str);
a++

18/04/2008, 10h33
Foub

Merci beaucoup pour ta réponse.
Super :king:

F.

Mmmm, ca me paraît pas correct....

Si je fais ca:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
 
		CharsetEncoder iso8859Encoder = Charset.forName("iso-8859-1")
				.newEncoder();
		CharsetEncoder utf8Encoder = Charset.forName("UTF-8").newEncoder();
 
		String s = "éàü";
 
		String utf8S = new String(utf8Encoder.encode(
				CharBuffer.wrap(s.toCharArray())).array());
 
		System.out.println(utf8S);
 
		System.out.println(iso8859Encoder.canEncode(utf8S));

Le code retourne true alors que la chaine est UTF-8.

18/04/2008, 11h47
adiGuba
Citation:

Envoyé par Tommy31

Le code retourne true alors que la chaine est UTF-8.

La chaine n'est pas en UTF-8 !!!

En interne en Java toutes les Strings sont encodés en UTF-16 :

Citation:

A String represents a string in the UTF-16 format

Tout comme les char/Character d'ailleurs :

Citation:

The Java 2 platform uses the UTF-16 representation in char arrays and in the String and StringBuffer classes

:arrow: Donc c'est une erreur de dire qu'une String utilise un encodage quelconque.

Ce n'est que lors des opérations d'entrées/sorties que l'on utilise un encodage (conversion vers des bytes, fichiers, BD, ...), et là on a alors en fait une conversion UTF-16<->encodage désiré...

Donc ici ta chaine "éàü" comporte trois caractères qui sont parfaitement encodable en iso-latin1...

Maintenant si tu fais ceci :
Code:

1 2 3 4 String str = "1€"; CharsetEncoder encoder = Charset.forName("iso-8859-1").newEncoder(); boolean ok = encoder.canEncode(str);
Tu obtiendras un joli "false" car le caractère "€" n'est pas représentable dans iso-8859-1...

a++
18/04/2008, 12h12
Tommy31
Mmm, tjs pas d'accord. :aie:

Cette chaîne "éàü" lorsque je l'affecte à ma string est stockée selon un encodage utf-16. Ca d'accord.

Mais lorsque j'écris ca:
Code:

1 2 3 String utf8S = new String(utf8Encoder.encode( CharBuffer.wrap(s.toCharArray())).array());
Ma chaîne est encodé UTF-8, c'est à dire que les octets composant la chaîne se conforment au nouvel encodage. On peut s'en assurer en écrivant le train d'octet:
Code:

1 2 3 4 for (Byte b : utf8S.getBytes()) { System.out.println(b); }
Par contre pour ton code, ok. En fait la question portait sur savoir s'il y avait des caractères non encodables. Auquel cas ta solution est bonne :mrgreen:

Moi j'étais parti sur l'idée de savoir si la chaîne soumise était encodée en iso ou pas. Or lorsque la chaîne soumise est sous un encodage dont le jeu de caractère est un sous-ensemble de iso-8859-1, ta méthode ne le décelais pas.

Bon bon, donc right answer... :king:
18/04/2008, 12h14
Tommy31

En même temps ça m'étonnait que tu te sois planté... :mouarf:

Ta chaine n'est pas encodé en UTF8 mais "n'importe comment" !

D'ailleurs si tu l'affiches dans la console ou un composant Swing tu obtiendra n'importe quoi...

C'est une erreur typique que de croire qu'une String est associé à un encodage. Comme je l'ai dit les String sont toujours représenté en UTF16. Par contre lorsqu'on manipule des fichiers on lit des bytes qui peuvent représenter une
Citation:
Envoyé par Tommy31
Mais lorsque j'écris ca:
Code:

1 2 3 String utf8S = new String(utf8Encoder.encode( CharBuffer.wrap(s.toCharArray())).array());
Ma chaîne est encodé UTF-8, c'est à dire que les octets composant la chaîne se conforment au nouvel encodage.
En décomposant ton code on obtient ceci :
Code:

1 2 3 4 5 6 7 8 String s = "éàü"; char[] array = s.toCharArray(); CharBuffer charBuffer = CharBuffer.wrap(s.toCharArray()); ByteBuffer byteBuffer = utf8Encoder.encode(charBuffer); byte[] bytes = byteBuffer.array(); String utf8S = new String(bytes);
Je pense que tu es d'accord avec moi pour dire que les trois premières lignes ne changent en rien le contenu : ce n'est qu'une conversion de type mais les caractères sont toujours représenté de la même manière.

La ligne la plus intérressante concerne l'appel à encode(), qui transforme un CharBuffer (en UTF-16 donc) vers un ByteBuffer (en UTF-8).

Enfin tu fais new String(bytes), avec bytes qui représentent donc un texte encodé en UTF-8, qui devrait refaire l'opération inverse (de UTF-8 vers UTF-16).

Or si on regarde la javadoc de String(byte[]), on peut lire ceci :

Citation:

Constructs a new String by decoding the specified array of bytes using the platform's default charset.

:arrow: bytes est donc interprété selon l'encodage par défaut. Donc cela donnera n'importe quoi a moins que ton système utilise l'UTF-8 (c'est assez courant sous Linux).

Par exemple sous Windows cela revient à faire une conversion de windows-1252 vers UTF-16 en prenant en entrée de l'UTF-8 :?

Donc a se noter en gros quelque part : En Java il est abbérant de vouloir changer l'encodage d'une String !
Les String sont encodé en UTF-16 point barre !

Les autres encodages sont utilisés uniquement pour les communications "en dehors", par exemple vers un fichier, une base de données...

a++

Merci à tous pour votre réponse.

La réponse suivante me convient parfaitement : «

Maintenant si tu fais ceci :
Code:

1 2 3 4 5 6 7 8 9 10 String str = "1€"; CharsetEncoder encoder = Charset.forName("iso-8859-1").newEncoder(); boolean ok = encoder.canEncode(str); Tu obtiendras un joli "false" car le caractère "€" n'est pas représentable dans iso-8859-1... a++
».

24/04/2008, 11h53
daronmaster

Citation:

Envoyé par adiGuba

Ta chaine n'est pas encodé en UTF8 mais "n'importe comment" !

D'ailleurs si tu l'affiches dans la console ou un composant Swing tu obtiendra n'importe quoi...

Bonjour, j'aimerai savoir comment faire pour afficher une string correctement dans un composant swing et ce peut importe le systeme sur lequel je suis (windows/linux) car je n'ai pas saisi tout ce qui a été dit.

merci pour votre aide
24/04/2008, 11h55
adiGuba

Il n'y a rien de particulier à faire pour afficher correctement une String dans un composant Swing.

Si tu as un problème d'affichage cela vient de ta chaine qui est mal lu, par exemple si elle provient d'un fichier encodé en UTF8 que tu lirais comme un fichier iso-latin1...

a++
24/04/2008, 12h19
daronmaster

en fait je t'expose mon probleme:

je lis une string dans un fichier et je l'affiche dans un composant swing.

le probleme c'est que suivant l'OS, l'affichage déconne (windows principalement).

j'utilise un bufferedReader et j'utilise la methode readline() qui renvoie une string.

Est-ce une mauvaise maniere pour ce que je dois faire ?

si tel est le cas que me conseille tu ?

merci

Quel est l'encodage du fichier ?

BufferedReader n'est pas un problème, par contre il faut préciser l'encodage que tu utilises pour la lecture !

:arrow: Avec new FileReader("fichier") tu utilises l'encodage par défaut du système, et tu as donc un comportement aléatoire selon le système : si l'encodage par défaut du système est le même que celui du fichier tout fonctionnera correctement, sinon tu auras des caractères invalides !

Tu dois donc spécifier l'encodage du fichier, et pour cela utiliser directement InputStreamReader à la place, car malheureusement Sun n'a jamais intégré la gestion de l'encodage au niveau des FileReader :

Code:

1
2
// Pour lire un fichier en UTF8 :
new InputStreamReader(new FileInputStream("fichier"), "utf8")

A la rigueur tu pourrais te faire ton propre FileReader en rajoutant les constructeurs qui spécifie l'encodage :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
class MyFileReader extends InputStreamReader {
 
	/**
         * Creates a new <tt>FileReader</tt>, given the name of the file to read
         * from.
         * 
         * @param fileName
         *            the name of the file to read from
         * @exception FileNotFoundException
         *                if the named file does not exist, is a directory rather
         *                than a regular file, or for some other reason cannot be
         *                opened for reading.
         */
	public MyFileReader(String fileName) throws FileNotFoundException {
		super(new FileInputStream(fileName));
	}
 
	public MyFileReader(String fileName, Charset charset)
			throws FileNotFoundException {
		super(new FileInputStream(fileName), charset);
	}
 
	public MyFileReader(String fileName, String charsetName)
			throws FileNotFoundException, UnsupportedCharsetException {
		this(fileName, Charset.forName(charsetName));
	}
 
	/**
         * Creates a new <tt>FileReader</tt>, given the <tt>File</tt> to read
         * from.
         * 
         * @param file
         *            the <tt>File</tt> to read from
         * @exception FileNotFoundException
         *                if the file does not exist, is a directory rather than a
         *                regular file, or for some other reason cannot be opened
         *                for reading.
         */
	public MyFileReader(File file) throws FileNotFoundException {
		super(new FileInputStream(file));
	}
 
	public MyFileReader(File file, Charset charset)
			throws FileNotFoundException {
		super(new FileInputStream(file), charset);
	}
 
	public MyFileReader(File file, String charsetName)
			throws FileNotFoundException, UnsupportedCharsetException {
		this(file, Charset.forName(charsetName));
	}
 
	/**
         * Creates a new <tt>FileReader</tt>, given the <tt>FileDescriptor</tt>
         * to read from.
         * 
         * @param fd
         *            the FileDescriptor to read from
         */
	public MyFileReader(FileDescriptor fd) {
		super(new FileInputStream(fd));
	}
 
	public MyFileReader(FileDescriptor fd, Charset charset)
			throws FileNotFoundException {
		super(new FileInputStream(fd), charset);
	}
 
	public MyFileReader(FileDescriptor fd, String charsetName)
			throws FileNotFoundException, UnsupportedCharsetException {
		this(fd, Charset.forName(charsetName));
	}
}

Maintenant si tu ne connais pas à l'avance l'encodage de ton fichier c'est plus complexe. Je sais qu'il existe des APIs (externes) permettant de le détecter mais j'ignore comment elles fonctionnent...

a++

24/04/2008, 13h17
daronmaster

ok je te remercie, je vais regarder ça, et pour l'encodage du fichier je vais me débrouiller

merci encore

plus simple : utiliser l'API commons-io d'Apache :

De mémoire :
Code:

1 2 3 FileUtils.readFileToString(File, "UTF-8"); FileUtils.writeStringToFile(File, String, "UTF-8");

29/04/2008, 11h50
daronmaster

Salut adiguba,

j'ai une autre question, voici comment je dois "matcher" mon fichier :

ligne1
ligne2
ligne3
ligne4

et je dois extraire les lignes une par une, et je crois que le inputFileReader ne peut faire cela (il se peut que je me trompe)

pour info : j'ai trouvé l'encodage: c'est du utf-8

merci encore pour ton aide
29/04/2008, 11h59
daronmaster

si je me suis mal fait comprendre dites-le moi que je réexplique

Comme ceci :

Code:

1
2
3
4
5
6
String str = "...";
String[] tab = str.split("\n");
 
for(int i = 0; i < tab.length; i++) {
String ligne = tab[i];
}

29/04/2008, 13h55
daronmaster

ok pour la méthode split (je ne la connaissai pas) mais comment obtenir une string à partir de mon InputStreamReader ?

je préfère me répéter afin que vous n'ayez pas à revenir en arrière(page précédente) :

mon pb : je dois extraire ces lignes d'un fichier encodé en utf-8 afin de pouvoir à les incorporer à un composant swing sans avoir de probleme d'affichage (notamment les accents) sur les plateforme où le logiciel sera executé (Windows, linux ...)
16/03/2009, 11h24
arno31

Solutions

La réponse se trouve ici : Comment changer l'encodage d'un fichier texte ?
et un article plus complet se trouve là : Gestion de l'encodage dans une application J2EE -> Gestion des entrées/sorties fichiers

Bonjour,

Pour détecter l'encodage d'une série de byte issue d'un fichier, tout est décrit dans le post de cette page, avec l'utilisation de l'API de Mozilla :
http://forums.sun.com/thread.jspa?th...rt=30&tstart=0

Il suffit ensuite d'adapter un peu le code pour la seconde classe comme voici :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 import java.io.BufferedInputStream; import java.io.ByteArrayInputStream; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.IOException; import java.io.UnsupportedEncodingException; import org.apache.log4j.Logger; import org.mozilla.intl.chardet.nsDetector; import org.mozilla.intl.chardet.nsPSMDetector; public class CharsetInputHelper { Logger logger = Logger.getLogger(CharsetInputHelper.class); private nsDetector det = null; private CharsetInputObserver obsvr = null; public CharsetInputHelper ( ){ int lang = nsPSMDetector.ALL; //or nsPSMDetector.JAPANESE and so. See Jchardet API for more information det = new nsDetector(lang); obsvr = new CharsetInputObserver(); } public String whichEncodingIs ( byte[] theData ){ boolean isAscii = true ; det.Init( obsvr ); try { // Check if the stream is only ascii. if (isAscii) isAscii = det.isAscii(theData,theData.length); // DoIt if non-ascii and not done yet. // Here I've removed the && !done //because I wanted to see all charsets encodings //that Jchardet detects in a file if (!isAscii) det.DoIt(theData,theData.length, false); } catch (Exception e) { // TODO Auto-generated catch block System.err.println("[whichEncodingIs] Error : "+e.getMessage()); e.printStackTrace(); obsvr.setCharsetToUse("CP-500"); } finally { det.DataEnd(); } if (isAscii){ obsvr.setCharsetToUse("ASCII"); } return obsvr.getCharsetToUse(); } }
Et l'utilisation se fait de la manière suivante :
Code:

1 2 3 4 5 6 7 byte[] theData = new byte[count]; System.arraycopy(record, offset, theData, 0, count); CharsetInputHelper myHelper = new CharsetInputHelper(); String theEncoding = myHelper.whichEncodingIs(theData); System.out.println("Encoding found = "+theEncoding);
"record", "offset" et "count" étant des variables issues du code où je l'utilise.

J'ai en entrée un fichier contenant à la fois de l'EBCDIC (CP-500) et de l'ASCII, et il me faut les détecter pour convertir en ASCII l'EBCDIC (et pas les données déjà convertie). Ca marche impect, il me détecte très bien la partie ASCII.

(J'ai vu que cette question est posée à plusieurs endroit, peut-être serait-il judicieux d'en faire un article dans la FAQ puisque ce genre de question / réponse ne s'y trouve pas et complèterait très bien les parties de la FAQ citée plus haut)

Cdlt.

Merci

Bonjour,

Pardon de réouvrir le post mais je me devais de vous dire merci car cette réponse à résolu mon problème et Dieu sait comme on peut chercher dans le vague longtemps...

;)
Citation:
Envoyé par Tommy31
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 CharsetEncoder iso8859Encoder = Charset.forName("iso-8859-1") .newEncoder(); CharsetEncoder utf8Encoder = Charset.forName("UTF-8").newEncoder(); String s = "éàü"; String utf8S = new String(utf8Encoder.encode( CharBuffer.wrap(s.toCharArray())).array()); System.out.println(utf8S); System.out.println(iso8859Encoder.canEncode(utf8S));

08/12/2011, 16h32
pooum
Citation:
Envoyé par adiGuba

Maintenant si tu fais ceci :

Code:

1 2 3 4 String str = "1€"; CharsetEncoder encoder = Charset.forName("iso-8859-1").newEncoder(); boolean ok = encoder.canEncode(str);

Tu obtiendras un joli "false" car le caractère "€" n'est pas représentable dans iso-8859-1...

a++
En effet c'est ce qui se produit, cependant là est mon problème.

Je me permet de ré-ouvrir le sujet après avoir parcouru le forum. Je cherche à envoyer un chaîne via ServletOutputStream, cependant un des caractère envoyé est un €, j'ai donc une exception qui apparaît :
java.io.CharConversionException: € n'est pas un caractère ISO 8859-1

J'ai fait en sorte que l'encodage soit en UTF-8.
response.setCharacterEncoding("UTF-8");
ServletOutputStream out = response.getOutputStream();

Comment puis-je traiter ces caractères spéciaux ? (le € n'est qu'un exemple)
08/12/2011, 16h56
thelvin

Fais

Code:

Writer out = response.getWriter();

ne passe pas par ServletOutputStream. Ses méthodes print() ne savent pas gérer le charset.
De manière générale, pour écrire du texte on passe par un Writer.
Les OutputStream servent à écrire des octets, du binaire, pas du texte.
08/12/2011, 17h02
pooum

J'ai essayer de remplacer par un Writer :
PrintWriter out = response.getWriter();

Puis la méthode write(String), je n'ai plus l'exception, donc il imprime l'ensemble des donnée, mais je perd l'affichage correct de tout les caractères spéciaux (tel que les "é").
08/12/2011, 17h08
thelvin

C'est parce qu'avec ta méthode précédente, tu envoyais de l'iso-8859-1.

Si elle marchait bien sauf avec les accents mais pas € par exemple, ça signifie que tes applications s'attendent à lire du iso-8859-1, pas de l'utf-8. Si tu leur envoies de l'utf-8, elles sont paumées.

Solution : envoie en windows-1252 au lieu d'utf-8 ou iso-8859-1.
Ça ne pourra pas envoyer de tout comme on le peut avec utf-8, mais ça pourra envoyer des € et des œ, ce qui est probablement ce que tu veux. De plus, pour les caractères chinois ou ce genre de chose, ça ne fera pas d'exception, ça les remplacera par un ?
08/12/2011, 17h20
pooum

Tout d'abord, merci pour ton aide. La solution que tu propose règle bien le problème.

Cependant je souhaiterai aller plus loin, d'après toi, le problème viens du fait que mon application s'attends à lire du iso-8859-1, pas de l'utf-8.

Comment puis-je faire en sorte que mes applications attendent de l'UTF-8 ?
08/12/2011, 17h23
thelvin

Citation:

Envoyé par pooum

Comment puis-je faire en sorte que mes applications attendent de l'UTF-8 ?

C'est leur problème. Tout dépend quel genre d'applications c'est, et en quel langage elles sont.
Apparemment, ta servlet leur annonçait que tu transmettais de l'utf-8, mais elles s'en foutaient complètement et le lisaient comme du iso-8859-1. Ça a l'air d'un environnement un peu particulier, je ne peux pas deviner de quoi il s'agit.
08/12/2011, 17h26
pooum

OK je vois, dans le cas présent je génère un fichier excel... donc ce n'est pas moi qui ai la main.

Encore une fois merci pour tes conseils judicieux.
08/12/2011, 17h30
thelvin

Excel ? Des fichiers textes :weird: ?
Je vais supposer que tu veux dire des fichiers CSV ou XML compatibles Excel...
08/12/2011, 17h40
pooum

Je n'ai pas parlé de fichier texte, mais en effet il s'agit de CSV compatible excel.