Encoder en UTF8

Version imprimable

04/09/2013, 18h48
drick35

Encoder en UTF8
bonjour,
j'ai un problème pour encode en utf-8 une variable String.
J'ai trouvé un code mais sa plante
Code:

1 2 nom = new String(((String) nom).getBytes("ISO-8859-1" ), "UTF-8" );
je souhaiter encodé pour l'envoyer par json.

je suis bloqué, ce code fonctionne avec les apostrophes mais pas avec les caractères possédant un accent.

Merci pour votre aide

bonne soirée

Cédric
04/09/2013, 18h58
thelvin

Une String n'a pas d'encodage, et on ne peut donc pas "encoder une variable String en utf-8".
Les encodages interviennent lors des conversions String -> byte[] et vice-versa.

Tu dois donc considérer le problème autrement. La conversion doit être faite ailleurs, si tant est qu'il y ait besoin d'en faire une.
Le plus simple est de chercher, qu'est-ce qu'elle devient, cette String ? À quoi est-ce que tu la confies pour t'en servir ? C'est à ce truc-là qu'il faut dire que l'encodage doit être utf-8... S'il ne le sait pas déjà. N'importe quelle bibliothèque JSON s'occupe de l'utf-8 toute seule sans qu'on lui demande.

merci pour votre explication, en visualisant le code suivant
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 JSONObject detail1 = new JSONObject(); detail1.put("TokenContact", TokenContact); detail1.put("TokenSociete", TokenSociete); detail1.put("nom", nom); jsonArray_contact.put(detail1); json_valeurs.put("Contact", jsonArray_contact); ... httppost.setHeader("json",json_valeurs.toString()); httppost.getParams().setParameter("jsonpost",json_valeurs); // Execute requete HTTP Post HttpResponse response =httpclient.execute(httppost); HttpEntity entity = response.getEntity(); is = entity.getContent();
Je me suis aperçu lors de la réception du côté serveur, les valeurs ne sont pas en UTF-8 mais en ISO. Donc il n'y a pas de transformation en UTF-8.
Lorsque vous m'indiqué que n'importe quelle bibliothèque JSON s'occupe de l'utf-8 toute seule sans qu'on lui demande, cela veut il dire qu'il faut que j'installe une bibliothèque complémentaire ? Ou bien il me manque une indication dans script?

Bonne journée
Cédric

05/09/2013, 10h08
adiGuba

Salut,

Citation:

Envoyé par drick35

Je me suis aperçu lors de la réception du côté serveur, les valeurs ne sont pas en UTF-8 mais en ISO. Donc il n'y a pas de transformation en UTF-8.

En même temps l'encodage n'est précisé nulle part.
Donc il y a de forte chance que ce soit l'encodage par défaut de la machine qui soit utilisé...

Tu utilises HttpClient d'Apache ?
Je ne connais pas trop mais je pense qu'il faut utiliser HttpProtocolParams.setContentCharset() et/ou HttpProtocolParams.setHttpElementCharset() pour le définir...

a++
05/09/2013, 10h36
thelvin

+1 adiGuba

Citation:

Envoyé par drick35

Lorsque vous m'indiqué que n'importe quelle bibliothèque JSON s'occupe de l'utf-8 toute seule sans qu'on lui demande, cela veut il dire qu'il faut que j'installe une bibliothèque complémentaire ?

Je voulais dire que d'habitude les bibliothèques JSON s'occupent aussi d'envoyer/recevoir les données, et qu'elles le font en utf-8 sans qu'on leur demande.

Ce n'est pas le cas de celle que tu utilises : tu fais toString() pour avoir une String, que tu t'occupes d'envoyer ensuite. Ce n'est pas spécialement mal, mais comme je l'ai dit, une String n'a pas d'encodage, et donc cette bibliothèque-ci ne peut pas s'occuper de l'encodage.
Tu vas bel et bien devoir t'y coller, de la manière suggérée par adiGuba.
05/09/2013, 11h23
drick35

merci pour votre aide, effectivement il y avait des paramétrages qui manquaient, connaissez vous un livre traitant la partie communication entre Android et serveur, car je lutte et perd pas mal de temps à parcourir les divers forum?
05/09/2013, 15h10
CrikTeCroque

En matière de lecture j'ai trouvé celle là pas eu le temps de la lire plus avant mais de ce que j'en ai vu tu trouveras ton bonheur (bout de code explications simples, tout ça tout ça :ccool:).

Bon courage ;)
06/09/2013, 04h03
nicroman

Tu peux remplacer "Android" par "client" et tu trouveras certainement ton bonheur.
La gestion d'une communication client-serveur ne diffère pas que ce soit sur Android, Ubuntu, MacOS ou autre...
09/09/2013, 14h56
Feanorin

Salut,

De mémoire c'est cette fonction qui gère le bordel

http://developer.android.com/referen...ormEntity.html

Code:

public UrlEncodedFormEntity (List<? extends NameValuePair> parameters, String encoding)

Par contre la grosse blague est qu'il y a une différence entre UTF-8 et HTTP.UTF-8 en fait il me semble que ce n'est pas la même norme ISO derrière donc faut bien faire attention.

Donc en gros :

Code:

new UrlEncodedFormEntity(nameValuePairs, HTTP.UTF-8);
09/09/2013, 19h27
thelvin

Le JSON n'est pas envoyé comme html-form-entity, et donc cette classe ne peut rien y faire.

... Mais en revoyant le code, je vois que le JSON est envoyé sous forme de header HTTP. Ce qui est déjà une aberration en soi, trop de caractères de JSON ayant un sens particulier en MIME.
J'ai bien peur que la seule manière correcte d'envoyer ça en utf-8 soit sous forme B-encodée, qui ressemble à ça :

Code:

json: =?UTF-8?B?SWYgeW91IGNhbiByZWFkIHRoaXMgeW8dSB1bmRlcnN0YW5kIHRoZSBleGFtcGxlLg==?=

Conversion String -> byte[] avec byte[] jsonBytes = json.getBytes("UTF-8"), encodage en Base64 avec String base64 = Base64.encode(jsonBytes, Base64.NO_WRAP), mettre =?UTF-8?B? devant et ?= derrière.

Et normalement c'est valide HTTP et contient le JSON en utf-8. Reste à espérer que le serveur derrière sache comment décoder ça.
Mais il aurait été plus simple de l'envoyer sous forme de corps du message HTTP -_-°.
10/09/2013, 00h06
nicroman

Oui moi aussi je vois pas pourquoi ne pas l'envoyer en tant que "body" HTTP (et juste déclarer la requête comme étant en UTF-8).
Par défaut HTTP utilise ISO-8859-1 (je sais c'est bête mais c'est comme ça).
10/09/2013, 01h09
thelvin

Citation:

Envoyé par nicroman

Par défaut HTTP utilise ISO-8859-1 (je sais c'est bête mais c'est comme ça).

Sauf erreur de ma part, HTTP utilise ASCII dans l'enveloppe, non pas par défaut mais obligatoirement. Et le body, si rien n'est indiqué par Content-Type: <...>; charset=<...>, laisse les applications décider le choix qu'elles feront par défaut.
Pour mettre du non-ASCII dans l'URL, HTTP dicte le %-encodage en charset utf-8 par défaut (sans mécanisme pour sortir du défaut, ce qui donc ne peut se faire qu'à l'initiative délibérée des applications, avec leurs propres méthodes d'auto-détection.)
Pour mettre du non-ASCII dans un header, aucune méthode n'est proposée sans préciser explicitement le charset utilisé.

Pas la moindre évocation de ISO-8859-1, donc. C'est juste les implémentations historiques qui veulent ça.
10/09/2013, 02h13
nicroman

Je parlais bien du body.... le header est purement ASCII (ou quoted-printable encoding).

Et pour ce qui est du body, c'est bien ISO-8859-1 par défaut comme le précise la RFC de HTTP/1.1:

http://www.w3.org/Protocols/rfc2616/....html#sec3.7.1

Citation:

The "charset" parameter is used with some media types to define the character set (section 3.4) of the data. When no explicit charset parameter is provided by the sender, media subtypes of the "text" type are defined to have a default charset value of "ISO-8859-1" when received via HTTP. Data in character sets other than "ISO-8859-1" or its subsets MUST be labeled with an appropriate charset value. See section 3.4.1 for compatibility problems.
10/09/2013, 08h27
Feanorin

Citation:

Oui moi aussi je vois pas pourquoi ne pas l'envoyer en tant que "body" HTTP (et juste déclarer la requête comme étant en UTF-8).

+1

Citation:

Le JSON n'est pas envoyé comme html-form-entity, et donc cette classe ne peut rien y faire.

Pourtant cela serait la meilleure solution.

Citation:

... Mais en revoyant le code, je vois que le JSON est envoyé sous forme de header HTTP. Ce qui est déjà une aberration en soi, trop de caractères de JSON ayant un sens particulier en MIME.
J'ai bien peur que la seule manière correcte d'envoyer ça en utf-8 soit sous forme B-encodée, qui ressemble à ça :

Cela serait vraiment la méthode la plus sale pour envoyer un json.
10/09/2013, 10h02
thelvin

Citation:

Envoyé par nicroman

Et pour ce qui est du body, c'est bien ISO-8859-1 par défaut comme le précise la RFC de HTTP/1.1:

http://www.w3.org/Protocols/rfc2616/....html#sec3.7.1

I stand corrected. Merci pour l'info.

Citation:

Envoyé par Feanorin

Citation:

Le JSON n'est pas envoyé comme html-form-entity, et donc cette classe ne peut rien y faire.

Pourtant cela serait la meilleure solution.

Je me doute bien que c'est ce que tu voulais dire, mais la meilleure solution serait une entity JSON, pas une html-form-entity.

Tu parles de cela :

Code:

1
2
3
4
5
6
7
8
9
10
11
 //url with the post data
    HttpPost httpost = new HttpPost(path);
 
    //convert parameters into JSON object
    JSONObject holder = getJsonObjectFromMap(params);
 
    //passes the results to a string builder/entity
    StringEntity se = new StringEntity(holder.toString(), HTTP.UTF-8);
 
    //sets the post request as the resulting string
    httpost.setEntity(se);

https://developer.android.com/refere...ingEntity.html

10/09/2013, 10h42
thelvin

Voilà.

(Pour info c'est HTTP.UTF_8 et non pas HTTP.UTF-8. Pour info, c'est une constante String de valeur "UTF-8", donc c'est exactement la même chose que juste mettre "UTF-8")