Discussion :

[fardon57]

Bonjour,
Notre application travail avec des fichiers xml, et recemment on a trouver que 20 d'entre eux ne s'affichait pas correctement dans IE ou Firefox a cause d'un mauvais format d'encodage, apparu a cause de l'apparition du symbole £ dans le fichier xml.

Dans le header du fichier xml, on specifie clairement UTF-8, mais apres quelques recherches j'ai cru comprendre que cela ne signifie que le format ou le document doit etre encoder, on peut tres bien ecrire UTF-8 mais avoir un document encoder d'une autre facon.

Donc je dois trouver dans notre code le moment ou le fichier xml s'encode de la mauvaise facon, je suis partit a la source, et il s'agit de code c++ comminuquant avec notre application via JNI (Arretez moi si je dis des beties ) , le code C++ va chercher le xml dans une base de donnees et l'envoi a notre application java.

J'ai donc juste modifier le code C++ pour qu'il ecrive dans un fichier log le code qu'il nous envoi pour voir si le xml qu'on recoit est au depart au bon format, et il semblerait que oui, car il y a un charactere special avant le £ :


E, 45
C, 43
Â, ffffffc2
£, ffffffa3
5, 35
0, 30

Ce code nous envoi la string grace a la methode NewStringUTF d' un objet de type JNIEnv.

Neanmoins, dans java, lorsque l'on recuperer cette String,je fais directement un println sur cette String, et le caractere speciale n'est plus la !

EC£50

Meme en mode debug et en regardant le tableau de la string je ne le vois pas.


Es-ce que je loupe quelque chose d'evident ? Je n'ai pas vraiment de grosses connaissances sur l'encodage de fichier, et je peux lire dans la doc de String qu'il utilise UTF-16 si je comprends bien ?
> A String represents a string in the UTF-16 format in which supplementary characters are represented by surrogate pairs (see the section Unicode Character Representations in the Character class for more information).

On a vraiment besoin d'ecrire le XML encode en UTF-8, savez vous comment s'y prendre ? Merci !

[thelvin]

Dans le header du fichier xml, on specifie clairement UTF-8, mais apres quelques recherches j'ai cru comprendre que cela ne signifie que le format ou le document doit etre encoder, on peut tres bien ecrire UTF-8 mais avoir un document encoder d'une autre facon.

Je confirme qu'il ne faut pas le faire, mais que c'est évidemment possible. De la même manière, rien n'empêche de poser une étiquette "haricots" sur un bocal à cornichons, mais les enfants qui passent par là croiront pendant des années qu'un cornichon s'appelle un haricot.

Je n'ai pas vraiment de grosses connaissances sur l'encodage de fichier, et je peux lire dans la doc de String qu'il utilise UTF-16 si je comprends bien ?
> A String represents a string in the UTF-16 format in which supplementary characters are represented by surrogate pairs (see the section Unicode Character Representations in the Character class for more information).

Oui, c'est exact, mais il faut bien comprendre que ce que Java utilise en interne pour stocker ses String ne te concerne pas.
Il utilise un moyen qui lui permet de stocker tout Unicode, donc il peut stocker de l'Unicode. C'est tout ce qu'il y a à savoir, du moins dans ton cas.



Bon, sinon : en ce qui me concerne je ne t'avais pas répondu car il y avait quelque chose que je trouvais incohérent dans tes résultats. Mais comme personne ne semble répondre, j'ai essayé de reproduire tes résultats et j'ai été bluffé : en fait il n'y a aucune incohérence, juste un fait rare.

Mais bref. J'ai besoin de plus d'informations.

En quoi  est-il un caractère spécial ?

Quelle information votre fichier XML doit-il contenir, au juste ? Le texte de ce fichier XML, est-ce que ça doit être "EC£50" ou bien "EC£50" ?

J'explique : quand on transforme la chaîne "EC£50" en octets, voici ce qu'on obtient :

En UTF-8 :

E: 0x45 ;
C: 0x43 ;
£: 0xc2 ; 0xa3
5: 0x35 ;
0: 0x30

En latin-1 :

E: 0x45 ;
C: 0x43 ;
£: 0xa3 ;
5: 0x35 ;
0: 0x30

C'est super bizarre, mais en UTF-8, £ se code exactement comme en latin-1, avec juste un octet devant. Je n'avais jamais remarqué que ça pouvait arriver.

Du coup, en utf-8, il n'y a pas de "charactère spécial Â" devant le £. £ se représente avec deux octets : 0xc2 ; 0xa3 et il se trouve qu'en latin-1, 0xc2 est Â, et 0xa3 est £.
Ce "caractère spécial" n'est a priori pas à afficher, et il semble qu'il n'y ait aucun problème.

Il faudrait que tu vérifies.

[fardon57]

Je confirme qu'il ne faut pas le faire, mais que c'est évidemment possible. De la même manière, rien n'empêche de poser une étiquette "haricots" sur un bocal à cornichons, mais les enfants qui passent par là croiront pendant des années qu'un cornichon s'appelle un haricot.



Oui, c'est exact, mais il faut bien comprendre que ce que Java utilise en interne pour stocker ses String ne te concerne pas.
Il utilise un moyen qui lui permet de stocker tout Unicode, donc il peut stocker de l'Unicode. C'est tout ce qu'il y a à savoir, du moins dans ton cas.



Bon, sinon : en ce qui me concerne je ne t'avais pas répondu car il y avait quelque chose que je trouvais incohérent dans tes résultats. Mais comme personne ne semble répondre, j'ai essayé de reproduire tes résultats et j'ai été bluffé : en fait il n'y a aucune incohérence, juste un fait rare.

Mais bref. J'ai besoin de plus d'informations.

En quoi  est-il un caractère spécial ?

Quelle information votre fichier XML doit-il contenir, au juste ? Le texte de ce fichier XML, est-ce que ça doit être "EC£50" ou bien "EC£50" ?

J'explique : quand on transforme la chaîne "EC£50" en octets, voici ce qu'on obtient :

En UTF-8 :

E: 0x45 ;
C: 0x43 ;
£: 0xc2 ; 0xa3
5: 0x35 ;
0: 0x30

En latin-1 :

E: 0x45 ;
C: 0x43 ;
£: 0xa3 ;
5: 0x35 ;
0: 0x30

C'est super bizarre, mais en UTF-8, £ se code exactement comme en latin-1, avec juste un octet devant. Je n'avais jamais remarqué que ça pouvait arriver.

Du coup, en utf-8, il n'y a pas de "charactère spécial Â" devant le £. £ se représente avec deux octets : 0xc2 ; 0xa3 et il se trouve qu'en latin-1, 0xc2 est Â, et 0xa3 est £.
Ce "caractère spécial" n'est a priori pas à afficher, et il semble qu'il n'y ait aucun problème.

Il faudrait que tu vérifies.

Merci pour ton aide, c'est beaucoup mieux que de ne pas repondre !

La chaine qu'on cherche a obtenir, c'est effectivement "EC£50" en UTF-8. Je parlais du caractere special Â, car justement c'est la facon de le coder en UTF-8 : 0xC2; 0xA3 ... Alors quand je fais un print du cote du code C++ juste avant d'envoyer le xml, je vois bien le texte en UTF-8, lorsque je fais en suite un println du coter java sur la String qui recoit le resultat, je ne vois que "£" et rien devant, donc sa devient incorrect pour de l'UTF-8 ...

Je pense qu'il y a bien un probleme, car les browser refusent d'afficher notre fichier XML car illisible, et lorsque que je l'enregistre sur mon bureau et le save en UTF-8 a partir d'un software, il se lit correctement sous IE et firefox ...

De plus, une fois sauvegarder en UTF-8, lorsque je compare les 2 fichiers XML avec un logiciel hexadecimal je vois bien le caractere special avant le £ pour le fichier qui fonctionne, et rien pour l'autre ... Je vais essayer de vous sortir une image

[thelvin]

La chaine qu'on cherche a obtenir, c'est effectivement "EC£50" en UTF-8. Je parlais du caractere special Â, car justement c'est la facon de le coder en UTF-8 : 0xC2; 0xA3 ... Alors quand je fais un print du cote du code C++ juste avant d'envoyer le xml, je vois bien le texte en UTF-8, lorsque je fais en suite un println du coter java sur la String qui recoit le resultat, je ne vois que "£" et rien devant, donc sa devient incorrect pour de l'UTF-8 ...

Bah non, c'est correct. Tu stockes la chaîne "EC£50" dans un String. Donc à l'affichage, ça met "EC£50". Il n'y a aucun problème. String n'a rien à péter des encodages.

Je pense qu'il y a bien un probleme, car les browser refusent d'afficher notre fichier XML car illisible, et lorsque que je l'enregistre sur mon bureau et le save en UTF-8 a partir d'un software, il se lit correctement sous IE et firefox ...

Ça pourrait être un autre problème.

En fait, c'est probablement un autre problème. Un soucis d'encodage empêche rarement la page de s'afficher, et ce cas précis ne l'empêcherait probablement pas du tout. Exception : si la page passe par une phase de validation avant transformation XSLT par exemple, et que la validation vérifie la présence du code exact.

De plus, une fois sauvegarder en UTF-8, lorsque je compare les 2 fichiers XML avec un logiciel hexadecimal je vois bien le caractere special avant le £ pour le fichier qui fonctionne, et rien pour l'autre ... Je vais essayer de vous sortir une image

Le soucis est peut-être au moment de l'encodage du fichier envoyé au navigateur.

[fardon57]

Bah non, c'est correct. Tu stockes la chaîne "EC£50" dans un String. Donc à l'affichage, ça met "EC£50". Il n'y a aucun problème. String n'a rien à péter des encodages.



Ça pourrait être un autre problème.

En fait, c'est probablement un autre problème. Un soucis d'encodage empêche rarement la page de s'afficher, et ce cas précis ne l'empêcherait probablement pas du tout. Exception : si la page passe par une phase de validation avant transformation XSLT par exemple, et que la validation vérifie la présence du code exact.



Le soucis est peut-être au moment de l'encodage du fichier envoyé au navigateur.

Interessant. Oui en effet, j'y ai repenser apres coup, c'est un peu idiot de ma part de m'attendre a retrouver ce caractere dans la String ... Mais que voulez vous, c'est les erreurs de debutant .

Comme tu l'as dit, c'est un autre probleme ! Je pense avoir trouver, lorsque la VM se lance, elle a un file.encoding par defaut, ce que je ne savais pas (Visiblement personne impliquer dans notre application non plus ... Et cette valeur est par defaut Cp1252 ! Donc j'ai juste modifier cette valeur par -Dfile.encoding=UTF-8 . Maintenant ca a l'air de fonctionner !

Merci, je vous tiens au courant si cela marche lorsque notre application tourne reelement.

[thelvin]

Une solution préférable serait de préciser l'encodage à utiliser à chaque fois qu'il y a besoin d'encoder/décoder un fichier texte.

Des fois ce sera utf-8, des fois ce sera latin-1. On ne peut pas changer l'encodage par défaut à chaque fois, et puis le faire sans se poser de question risque de créer des bugs.

[adiGuba]

Salut,

car il y a un charactere special avant le £ :

Ce n'est pas un caractère spécial.
C'est simplement qu'en UTF8 certains caractères sont encodés sur 2 octets...


Ton erreur sur le XML vient du fait que tu utilises un encodage incorrect à un moment donné qui va aboutir à une valeur incorrect.

Pour plus d'info il nous faudrait avoir les portions de code qui contiennent les "communications" entre ton programme et l'extérieur. En clair :

• Comment tu récupères ta chaine ?
• Comment tu écris dans le fichier ?

D'après tes commentaires, c'est ce dernier point qui semble poser problème (puisque la chaine semble correct lorsque tu l'affiches via un println...

a++