Discussion :

[nezdeboeuf62]

Bonjour,

Dans un programme Java, je dois lire un fichier dont je ne connais pas l'encodage. Je le lis comme étant de l'unicode (UTF-8), mais à l'intérieur il y a des caractères "inconnus" (un losange noir avec un point d’interrogation).

À défaut de savoir lire ces caractères correctement, j'ai éssayé de lire le fichier dans tous les Charset de la JVM, j'aimerais au moins pouvoir supprimé ces caractères.

Est il possible de faire ça, sans le faire caractère par caractère, avec une regexp par ex.


Merci d'avance,

[adiGuba]

Salut,


Je crois que cela dépend du charset, mais par défaut pour l'UTF-8 les caractères inconnus sont remplacé par le caractère "\ufffd".

Maintenant tu peux utiliser un CharsetDecoder pour ignorer directement ces caractères lors de la lecture :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
	CharsetDecoder decoder = Charset.forName("utf-8").newDecoder();
	decoder.onMalformedInput(CodingErrorAction.IGNORE);
	decoder.onUnmappableCharacter(CodingErrorAction.IGNORE);

a++

[nezdeboeuf62]

Bonjour et merci de ta réponse.

J'ai implanté le CharsetDecoder mais ça ne fonctionne pas. j'ai essayé de "jouer" avec les différentes possibilités des REPLACE, IGNORE, REPORT mais rien ne change.

Là où j'ai un peu de mal à comprendre c'est cette histoire de caractère de replacement. Cela signifie que si je lis ma chaîne en UTF-8, chaque caractère qui n'est pas reconnu sera remplacé par fffd?

Donc pour éviter ces caractères foireux est ce que je peux faire simplement :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
line.replaceAll(String.valueOf((char)0xfffd), "")

et ainsi m'assurer que les caraactères de ma ligne soient tous unicode?

[thelvin]

Donc pour éviter ces caractères foireux est ce que je peux faire simplement :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
line.replaceAll(String.valueOf((char)0xfffd), "")

et ainsi m'assurer que les caraactères de ma ligne soient tous unicode?

Oui, mais c'est à peu près la même chose que ce que fait le code d'adiGuba. Sauf si les 0xfffd étaient déjà là avant décodage, et étaient donc déjà de l'Unicode. De l'Unicode indiquant qu'au moment de la création du fichier, il y avait des caractères non-mappables.

[nezdeboeuf62]

Donc si je comrprends bien le 0xfffd c'est un caractère qui indique qu'ici il y avait un caractère non unicode, mais le 0xfffd, en tant que tel, est un caractère qui est unicode et c'est pour ça que le decodage ne mache pas.

[thelvin]

Yup. En fait il veut dire "ici il y avait une séquence d'octets qui ne pouvaient pas être décodées en caractère, ou bien des caractères qui n'existent pas en Unicode."

[nezdeboeuf62]

Ok merci pour les précisions.

Donc en virant simplement ce caractère de ma chaine, je m'assure que le reste soit bien compatible unicode.

Merci pour tout.