Problème d'encodage UTF-8 avec TRESTRequest

Version imprimable

30/01/2018, 16h06
delaio

Problème d'encodage UTF-8 avec TRESTRequest

Bonjour,

Je développe une application pour smartphone Android via Rad Studio Tokyo 10.2.

Quand l'utilisateur s'inscrit via l'application, j'envoie toutes ses données (nom, prénom, adresse, email, etc...) via une api à un prestataire qui stocke les infos dans sa base de données. J'utilise le composant TRESTRequest qui doit être mal paramétré, car le prestataire enregistre les données au format quoted printable au lieu de l'UTF-8. Si j'envoie les données via Postman, il n'y a aucun souci. Idem quand je récupère des infos avec accent : mes requêtes API en méthode GET gère parfaitement les accents.

exemple : Hélène devient H=E9l=E8ne

cahier des charges pour l'api du prestataire :
- call POST
- format application/json ou form-data
- paramètres Header (token)
- paramètres body (nom, prenom, adresse, etc...)

le paramétrage des propriétés TRESTRequest par défaut :
- accept : application/json, text/plain; q=0.9, text/html;q=0.8,
- acceptcharset : UTF-8, *;q=0.8
- acceptEncoding :
- Params : chaque champ (nom prenom adresse etc) sont paramétrés ainsi :
- contentType : ctNone
- kind : pkREQUESTBODY
- options : podonotencode = false; potransient = false; poautocreated = false
- value : affectation dans le code (ex : user_restreq.Params.Items[1].Value := nom_ed.Text;)

j'ai tenté de paramétrer le kind des paramètres en pkGETorPOST ou le contentType en ctAPPLICATION_JSON mais le retour de l'api m'envoie une erreur (une erreur s'est produite, ou le nombre de paramètres n'est pas correct...).

Je vois bien que je n'ai pas paramétré mon composant correctement, mais j'ai beau cherché, je ne trouve aucune info pour forcer l'encodage en UTF-8.

quelqu'un à une idée ?

merci.
02/02/2018, 16h09
delaio

bonjour à tous,

pas de réponse, pas de suggestions ? :calim2:

je ne suis peut être pas sur le bon forum ? API, COM et SDKs serait il plus approprié ?

je suppose que je ne suis pas la seule personne à faire appel à une api en méthode POST : utilisez vous d'autres composants que TRESTRequest pour cela ?

merci...
02/02/2018, 19h45
gbegreg

Bonjour,

Il est normal qu'en "quoted printable" les caractères accentués soient traduits avec le signe = suivi du code hexa du caractère. Seuls les 128 caractères imprimables de la table ASCII sont présents en quoted printable.
Si via Postman, l'enregistrement en base se fait bien avec les accents, c'est que le jeu de caractères utilisé par la base accepte les accents... donc pas en quoted printable. Par contre, vous passez peut être en quoted printable lors de la communication.
Avec vous utilisé Fiddler pour voir les requêtes/réponses passées ? (et tenter de voir comment Postman envoie les données)

2 pièce(s) jointe(s)

bonsoir gbegreg,

merci d'avoir pris le temps de répondre à mes questions...

Citation:

Envoyé par gbegreg

vous passez peut être en quoted printable lors de la communication.

J'en ai bien conscience : c'est justement la raison de mon appel à l'aide...

Citation:

Envoyé par gbegreg

Avez vous utilisé Fiddler pour voir les requêtes/réponses passées ? (et tenter de voir comment Postman envoie les données)

Oui et voici le résultat via postman, on voit bien que le format json est correctement affecté :

Pièce jointe 348318

ma requête via restrequest, elle, confirme l'encodage en quoted-printable avec un format form-data :

Pièce jointe 348322

le prestataire accepte les deux formats : json ou form-data. Moi, je veux juste encoder les données en UTF-8 ! mais comment ? :koi:

j'ai tenté sans succès :

Code:

user_restreq.Params.AddHeader('Content-Transfer-Encoding', 'UTF-8');

j'ai également essayé de passer au format application json en paramétrant tous les contenttype des trestrequestparameter à ctAPPLICATION_JSON mais c'est un vrai cafouillage.
Code:

1 2 3 4 5 6 7 8 9 10 11 12 user_restreq.Params.Items[0].Value := tokengroupe_co; user_restreq.Params.Items[1].Value := nom_ed.Text; user_restreq.Params.Items[2].Value := prenom_ed.Text; user_restreq.Params.Items[3].Value := IntToStr(genre_cb.ItemIndex + 1); user_restreq.Params.Items[4].Value := IntToStr(type_cb.ItemIndex + 1); user_restreq.Params.Items[5].Value := codepostal_ed.Text; user_restreq.Params.Items[6].Value := ville_ed.Text; user_restreq.Params.Items[7].Value := email_ed.Text; user_restreq.Params.Items[8].Value := telephone_ed.Text; user_restreq.Params.Items[9].Value := nvmotpasse_ed.Text; ...
voici le retour de fiddler :

Code:

test_àâäéèêë-16test-ôö ûü'ù_161116testdevtestdev1616testdev1601233

on est très loin du paramétrage json...

personne n'utilise ces compos ? j'ai vraiment l'impression d'avoir juste zappé de paramétrer une propriété... :weird:

03/02/2018, 22h27
foetus

Le problème du JSON c'est qu'il n'est pas Unicode mais seulement ASCII :aie:
Et donc la solution évidente (peut-être qu'il en a d'autres) c'est à l'envoi d'échapper les caractères Unicode (avec les \x, \u et \U) et à la réception de reformer les caractères. Parce que, apparemment, cette moulinette n'est pas faite automatiquement :whistle:

Édit : Regarde ici pour plus de précisions Escape sequences in C, Table of escape sequences (<- lien Wiki)

Citation:

test_àâäéèêë-16test-ôö ûü'ù_161116testdevtestdev1616testdev1601233

Ceci ressemble :mrgreen: à de l'UTF-8/ UTF-16 lu soit en ASCII soit en ANSI (mbcs)
05/02/2018, 10h46
delaio

bonjour,

Citation:

Envoyé par foetus

la solution évidente (peut-être qu'il en a d'autres) c'est à l'envoi d'échapper les caractères Unicode (avec les \x, \u et \U) et à la réception de reformer les caractères. Parce que, apparemment, cette moulinette n'est pas faite automatiquement :whistle:

Si. cette moulinette est faite automatiquement par les compos REST quand je récupère des données en methode GET (comme précisé dans mon premier message :langue2:) : je reçois bien les accents sans faire de transtypage manuel.

et j'ai tout de même essayé de remplacer les accents avec les \u mais ça n'a rien changé : le prestataire enregistre dans sa base de données les \u et me les renvoie tel quel :aie:

où est ce que je peux trouver des docs complètes sur les compos REST ? les seules infos que j'ai trouvé sont basiques... et il faut vraiment que je trouve une solution à mon problème de paramétrage :
- soit je configure correctement le compo pour un envoi en JSON (je suppose qu'il doit être capable de faire de belles accolades...)
- soit je configure correctement le compo pour un envoi en form data avec un encodage en UTF-8 (il doit bien y avoir une propriété qui permet de passer le content-transfer-encoding en UTF-8)

bouh... :arf:

Bonjour,

Comment crées-tu tes paramètres ? c'est peut-être là le problème : les propriétés de chacun (en particulier name,contenttype) sont-elles bien indiquées ?

Code:

1
2
3
4
5
6
 
  RESTRequest.Method := TRESTRequestMethod.rmPOST;
  RESTRequest.Params.Clear;
  RESTRequest.Params.AddItem('Nom','tesdév 14', TRESTRequestParameterKind.pkGETorPOST);
  RESTRequest.Params.AddItem('Prénom','déaccentués', TRESTRequestParameterKind.pkGETorPOST);
  RESTRequest.Execute;

ou alors par JSON

Code:

1
2
3
4
5
6
7
8
9
10
11
12
var
  jsResponse: TJSONValue;
  jsRequest: TJSONObject;
 
begin
  jsRequest := TJSONObject.Create();
  jsRequest.AddPair('nom','Testdèv 14');
  jsRequest.AddPair('prénom', 'test dév');
  RESTRequest.AddBody(jsRequest);
  jsRequest.Free();
  RESTRequest.Execute();
  jsResponse := RESTRequest.JSONValue;

Bonjour Sergio,

Un grand merci pour ton aide. La première solution était déjà celle que je paramétrais pour chaque propriété dans l'inspecteur d'objets... échec : en pkGETorPOST, ça ne passe pas.

par contre, ton code en JSON m'a permis de résoudre le problème ! :ccool:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 var jsResponse: TJSONValue; jsRequest: TJSONObject; begin user_restreq.Method := TRESTRequestMethod.rmPOST; user_restreq.Params.Clear; user_restreq.Params.AddItem('token', token_st, TRESTRequestParameterKind.pkHTTPHEADER); jsRequest := TJSONObject.Create(); jsRequest.AddPair('nom','tesdév '); jsRequest.AddPair('prenom','testdéèv'); jsRequest.AddPair('genre','1'); jsRequest.AddPair('type','1'); jsRequest.AddPair('cp', cp_st); jsRequest.AddPair('ville','testdev'); jsRequest.AddPair('email','testdev'); jsRequest.AddPair('mobile', mobile_st); jsRequest.AddPair('mdp','testdev'); jsRequest.AddPair('login_type','0'); jsRequest.AddPair('salon','1234'); user_restreq.AddBody(jsRequest); jsRequest.Free(); user_restreq.Execute(); jsResponse := user_restreq.Response.JSONValue;
juste une question qui me titille suite à ce problème d'encodage : des adresses mails ainsi que des noms prénoms finissaient par =E20. Dans une table de correspondance (http://www.ic.unicamp.br/~stolfi/EXP...-Encoding.html), ce codage semble correspondre à un espace. Pourtant, je vois mal l'utilisateur saisir systématiquement un espace à la fin de son texte dans le TEdit ; d'autant que les espaces que j'ai volontairement ajoutés n'étaient jamais codés :weird:

en faisant des recherches sur ce caractère parasite, j'ai trouvé par hasard des pages où il se situe systématiquement en fin de ligne : http://giannico.free.fr/Honoraires.mht

j'ai fait un Trim des Tedits pour chaque affectation afin, je l'espère, de résoudre ce problème. L'un de vous a une idée de ce dont il peut s'agir ? un "pseudo" retour chariot quand l'utilisateur bascule d'un Edit à l'autre via son clavier ? Perso, je n'ai pas réussi à reproduire ce cas de figure :koi:

06/02/2018, 16h34
SergioMaster

Bonsoir,

Citation:

Envoyé par delaio

Un grand merci pour ton aide. La première solution était déjà celle que je paramétrais pour chaque propriété dans l'inspecteur d'objets... échec : en pkGETorPOST, ça ne passe pas.

qu'est-ce qui ne passait pas , la compilation ?

Citation:

par contre, ton code en JSON m'a permis de résoudre le problème !

tant mieux !

Citation:

juste une question qui me titille suite à ce problème d'encodage : des adresses mails ainsi que des noms prénoms finissaient par =E20. Dans une table de correspondance (http://www.ic.unicamp.br/~stolfi/EXP...-Encoding.html), ce codage semble correspondre à un espace. Pourtant, je vois mal l'utilisateur saisir systématiquement un espace à la fin de son texte dans le TEdit ; d'autant que les espaces que j'ai volontairement ajoutés n'étaient jamais codés ...
j'ai fait un Trim des Tedits pour chaque affectation afin, je l'espère, de résoudre ce problème. L'un de vous a une idée de ce dont il peut s'agir ? un "pseudo" retour chariot quand l'utilisateur bascule d'un Edit à l'autre via son clavier ? Perso, je n'ai pas réussi à reproduire ce cas de figure :koi:

Ce que fait l'utilisateur, j'en ai souvent eu confirmation, est souvent étonnant, le trim devrait logiquement régler le problème
06/02/2018, 21h30
delaio

Citation:

Envoyé par SergioMaster

qu'est-ce qui ne passait pas , la compilation ?

si si... ça compile et ça s'envoie. c'est le prestataire qui ne validait pas la requête en me retournant un message d'erreur : "le nombre de paramètres reçus n'est pas correct".

Etant donné que dans le cahier des charges il est spécifié que les paramètres sont BODY avec un CALL API en POST, j'ai supposé que le paramétrage GetorPost ne leur convenait pas à la lecture...

Citation:

Ce que fait l'utilisateur, j'en ai souvent eu confirmation, est souvent étonnant, le trim devrait logiquement régler le problème

oui, mais ce caractère parasite est trop fréquent et récurrent sur plusieurs champs pour que ce soit une "mauvaise manip" de l'utilisateur... et puis surtout, j'ai eu beau mettre des espaces, ça ne générait aucun =20 !!!

du coup, je suis septique sur l'efficacité d'un trim sur les edits. Je me demande plutôt si ce caractère ne serait pas généré par le restrequest à l'envoi de la requête... !?!!
07/02/2018, 06h58
SergioMaster
Bonjour,

Citation:

Envoyé par delaio

oui, mais ce caractère parasite est trop fréquent et récurrent sur plusieurs champs pour que ce soit une "mauvaise manip" de l'utilisateur... et puis surtout, j'ai eu beau mettre des espaces, ça ne générait aucun =20

Dire que cela vient du RestRequest peut-être ou pas :koi:
tu as vérifié le JSONObject ?
cogitations fumeuses :il y a peut être une histoire de longueur de valeur qui traine par exemple : 'testdéèv' = 8 + le null de terminaison du coup le Post envoi 9 car (d'où le =20)

as-tu essayé de "forcer" le type de valeur
Code:

1 2 3 jsRequest.AddPair('nom',TJSonString.Create('tesdév ')); jsRequest.AddPair('prenom',TJSONString.Create('testdéèv'));
08/02/2018, 10h20
delaio
Citation:

Envoyé par SergioMaster

cogitations fumeuses :il y a peut être une histoire de longueur de valeur qui traine par exemple : 'testdéèv' = 8 + le null de terminaison du coup le Post envoi 9 car (d'où le =20)

oui, un truc dans le genre probablement... le tout est de trouver LE cas de figure qui déclenche ce =20...
Citation:
Envoyé par SergioMaster

as-tu essayé de "forcer" le type de valeur

Code:

1 2 3 jsRequest.AddPair('nom',TJSonString.Create('tesdév ')); jsRequest.AddPair('prenom',TJSONString.Create('testdéèv'));
oui mais ça n'a rien donné de probant et impossible de reproduire l'erreur. tant pis. je déploie en espérant que ce problème est lié à l'encodage avec le format form-data et que la bascule en json était la solution.

en attendant, merci encore pour le coup de main ! ;)