problème de character set

Bonjour,

J'ai passé 4 jours entrain de lutter contre un problème de character_set.. mais je n'arrive pas à le résoudre...

avant de d'entrer dans les détails de mon problème je voudrais juste comprendre pourquoi le résultat de cette requette :

Code:

---

1 2	SELECT '%ãäÇØÞ-ãÎÊÕÑÇÊ (2-2)%'

---

est

Citation:

---

%??C??-?IE??CE (2-2)%

---

au lieu de :

Citation:

---

%ãäÇØÞ-ãÎÊÕÑÇÊ (2-2)%

---

le résultat de : show variables like 'char%' est :

Citation:

---

"character_set_client";"cp1256"
"character_set_connection";"cp1256"
"character_set_database";"cp1256"
"character_set_filesystem";"binary"
"character_set_results";"cp1256"
"character_set_server";"cp1256"
"character_set_system";"utf8"

---

et celui de : show variables like 'coll%' est :

Citation:

---

"collation_connection";"cp1256_bin"
"collation_database";"cp1256_bin"
"collation_server";"cp1256_bin"

---

merci d'avance

ton client se déclare auprès de MySQL comme du cp1256, alors qu'en fait il utilise un autre jeu de caractères... Pour trouver le jeu de caractères réel, il faut savoir lequel permet de bien représenter un caractère qui sort mal pour le moment, par exemple le ä.

Code:

---

SELECT _cp850'ä' as cp850, _latin1'ä' as latin1, _cp1256'ä' as cp1256 ;

---

Merci beaucoup pour la réponse.

En fait ma question était juste une introduction pour moi pour comprendre pourquoi MySQL ne garde pas la chaine telle qu'elle est tout simplement sans conversion (puisque je ne lui ai pas demandé de la convertir)? surtout que la chaine utilisée contient des caractères du code page 1256 que j'ai utilisé partout?!


Sinon je voudrais bien vous expliquer mon problème.

Introduction :

- La base de données que j'interroge appartient à une application que ma société a achetée. Donc je n'ai pas assez de liberté pour manipuler les collations ou les jeux de caractères dedans.

- La base contient du texte en arabe, et elle est basée sur l'UTF8 (serveur, base, tables et champs). Alors que je travaille avec delphi6 qui n'a pas l'aire de fonctionner correctement avec ce codage. Les résultats des requêtes s'affichent sous forme de "?" (à ma compréhension : des caractères en dehors du jeu de caractères utilisé dans les zones de textes utilisées).

- Pour résoudre le problème de l'affichage J'ai introduit dans la ConnectionString de ma connexion à la base, l'instruction :

Citation:

---

Charset=cp1256;

---

, et j'ai utilisé

Citation:

---

convert([Champs] using cp1256)

---

dans la clause SELECT. Tout marche parfaitement avec cette solution.


Problème :

Maintenant voici le problème qui me bloque :

- Je dois programmer une fonction de recherche. L'utilisateur dois saisir des mots clés dans une zone de texte qui adopte le charset arabe windows (code page 1256). Ces mots clés sont concaténés avec la chaine SQL.

Pour moi la requette suivante devait marcher parfaitement :

Code:

---

SELECT * FROM Table WHERE convert(Champs using cp1256)='ÑæÓíÇ'

---

mais elle m'a donné une erreur : illegal mix of collation.
D'après ce que j'ai compris, il considère 'ÑæÓíÇ' comme étant une chaine UTF8.

La requête :

Code:

---

SELECT * FROM Table WHERE convert(Champs using cp1256)=_cp1256'ÑæÓíÇ'

---

ne donne rien comme résultat alors qu'elle doit, parce que la chaine arabe que je cherche était copiée/collée à partir du résultat d'affichage d'une requête. et c'est normale qu'elle ne donne rien puisque quand j'affiche le résultat de

Code:

---

SELECT _cp1256'ÑæÓíÇ'

---

, elle me donne 'ÑæÓÃ*Ç'.

J'ai fait d'autres actions que je peux vous les citer si vous voulez (je vois déjà que mon sujet commence à devenir illisible :P)

Quel pourrait être le problème?
Est ce qu'il y a une méthode pour convaincre MySQL que la chine est en cp1256, et qu'il dois la laisser telle qu'elle est?

euh... est-ce qu'il y a une méthode pour te convaincre que ta chaîne n'est peut-être pas en cp1256, et que tu devrais tester ma requête ?

:P désolé ce n'était pas mon intention d'ignorer ta requête.. en fait le résultat de la requête est "?" partout. J'ai essayé aussi utf8 mais il donne aussi "?"

Ce qui m'a poussé à décrire mon problème ce-dessus, c'est que : il n'est pas suffisant pour moi d'avoir la chaine de caractère telle qu'elle est mais que le champs où je cherche dois aussi contenir la même chiane avec le même codage.

une requête du genre

Code:

---

SELECT Champs, 'ÑæÓíÇ' WHERE id=2222

---

ou

Code:

---

SELECT convert(Champs using cp1256), _cp1256'ÑæÓíÇ' WHERE id=2222

---

devrais me donner

Citation:

---

ÑæÓíÇ , ÑæÓíÇ

---

et non pas

Citation:

---

ÑæÓíÇ, ÑæÓÃ*Ç

---

ok... si tu enlèves Charset=cp1256 de ta connection string, que donne le show variables like 'char%' ?

j'était entrain d'éditer le message en même temps..

Je vais essayer et je vous répond tout de suite

ça donne :
haracter_set_client : utf8
character_set_connection : utf8
character_set_database : latin1
character_set_filesystem : binary
character_set_results :
character_set_server : cp1256
character_set_system : utf8

en principe tout était UTF8 au début.. c'est avec pleins des essais que j'ai fait qu'on trouve le cp1256 parmis les réslutats (et peut être lême le latin1)

OK... peux-tu tester l'utf8 (en passant bien sûr par Delphi) ?

Code:

---

SELECT _utf8'ä' ;

---

au cas où ça ne marche pas, second test :

Code:

---

1 2 3

SET NAMES utf8 ; SELECT _utf8'ä' ;

---

les résultat est : 'ä' que ça soit avec _utf8 ou sans _utf8

Les charset client et connection :

Citation:

---

character_set_client : utf8
character_set_connection : utf8

---

---

Mais la requêtte :

Code:

---

SELECT Champs FROM Tbl where id=146501

---

me donne :

Citation:

---

?????/ ?????

---

Au lieu de :

Citation:

---

áÈäÇä/ ÓæÑíÉ

---

Citation:

---

character_set_client : utf8
character_set_connection : utf8
character_set_database : utf8
character_set_filesystem : binary
character_set_results :
character_set_server : utf8
character_set_system : utf8

---

(C'est different de l'affichage de la première fois, parce que j'ai annulé tous les changements que j'avais fais sur le charset du server, base, tables et collonnes)

Bon, on a réglé la première question : ton Delphi est en utf8, et il faut rester là-dessus (au besoin en mettant Charset=utf8 dans la connection string).

Passons à la seconde question : pourquoi les données de Tbl ne s'affichent pas correctement ? Il y a deux possibilités, soit les données sont mal stockées, soit elles sont bien stockées mais mal affichées.

Testons la première hypothèse :

Code:

---

1 2 3 4 5 6 7 8

SELECT Champs, ORD(Champs) as Codage_1er_Car, CHARSET(Champs) AS Jeu_Caracteres, LENGTH(Champs) AS Nb_Octets, CHARACTER_LENGTH(Champs) AS Nb_Caracteres FROM Tbl WHERE id=146501

---

Hello again !

Je relis le post où tu détaillais le problème...

Citation:

---

Envoyé par anouarm

- Je dois programmer une fonction de recherche. L'utilisateur dois saisir des mots clés dans une zone de texte qui adopte le charset arabe windows (code page 1256). Ces mots clés sont concaténés avec la chaine SQL.

Pour moi la requette suivante devait marcher parfaitement :

Code:

---

SELECT * FROM Table WHERE convert(Champs using cp1256)='ÑæÓíÇ'

---

mais elle m'a donné une erreur : i

---

Si je comprends bien :

• ton code Delphi est en utf8
• tes données sont du texte arabe en utf8
• tes formulaires sont en cp1256

J'imagine que pour faire marcher ta requête, il faudrait faire :

Code:

---

SELECT * FROM Table WHERE Champs = convert(_cp1256'ÑæÓíÇ' Champs using utf8)

---

L'idéal serait évidemment d'avoir des formulaires en utf8, ce qui te permettrait de faire directement :

Citation:

---

SELECT * FROM Table WHERE Champs = 'أنور' ;

---

Le résultat de :

Code:

---

1 2 3 4 5 6 7

SELECT Champs, ORD(Champs) AS Codage_1er_Car, CHARSET(Champs) AS Jeu_Caracteres, LENGTH(Champs) AS Nb_Octets, CHARACTER_LENGTH(Champs) AS Nb_Caracteres FROM Tbl WHERE id=146501

---

est

Citation:

---

Champs : ?????/ ?????
Codage_1er_Car : 55684
Jeu_Caracteres : utf8
Nb_Octets : 25
Nb_Caracteres : 15

---

Effectivement, l'idéale c'est d'utiliser des formulaires utf8, chode que je n'ai pas réuissi à faire avec delphi6. Je trouve sur les forums qu'il faut migrer vers delphi 2009 puor avoir cette possibilité .

parcontre la requette :

Code:

---

SELECT * FROM TABLE WHERE Champs = convert(_cp1256'ÑæÓíÇ' Champs USING utf8)

---

me donne une erreur de syntaxe au niveau de 'Champs USING utf8)'.

s'il s'agit d'une faute de frappe, et qu'il faut enlever le mot champs, la requette :

Code:

---

SELECT * FROM TABLE WHERE Champs = convert(_cp1256'ÑæÓíÇ' USING utf8)

---

ne me donne pas de résultat.

voici aussi le résultat de la requette :

Code:

---

1 2 3

SELECT Champs, convert(_cp1256'%áÈäÇä/ ÓæÑíÉ%' USING utf8) AS Chaine FROM Tbl WHERE id=146501

---

est :

Citation:

---

Chmaps : ?????/ ?????
Chaine : %???ˆ?¤?‡?¤/ ?“?¦?‘?*?‰%

---

et voici un autre résultat :

Code:

---

1 2 3

SELECT convert(Champs using cp1256), _cp1256'%áÈäÇä/ ÓæÑíÉ%' FROM Tbl WHERE id=146501

---

Citation:

---

Champs : áÈäÇä/ ÓæÑíÉ
Chaine : %áÈäÇä/ Ã*É%

---

Le seul affichage qui coinside est :

Code:

---

1 2 3

SELECT convert(Champs using cp1256), '%áÈäÇä/ ÓæÑíÉ%' FROM Tbl WHERE id=146501

---

Citation:

---

Champs : áÈäÇä/ ÓæÑíÉ
Chaine : áÈäÇä/ ÓæÑíÉ

---

Mais les deux résultats sont de différents charset , donc impossible de les réunir dans la clause WHERE

Citation:

---

Envoyé par anouarm

Le résultat de :

Code:

---

1 2 3 4 5 6 7

SELECT Champs, ORD(Champs) AS Codage_1er_Car, CHARSET(Champs) AS Jeu_Caracteres, LENGTH(Champs) AS Nb_Octets, CHARACTER_LENGTH(Champs) AS Nb_Caracteres FROM Tbl WHERE id=146501

---

est

Citation:

---

Champs : ?????/ ?????
Codage_1er_Car : 55684
Jeu_Caracteres : utf8
Nb_Octets : 25
Nb_Caracteres : 15

---

---

Bon, au moins les données ont l'air correctes. Le caractère utf8 55684 ressemble bien à un Lâm arabe, il est bien déclaré comme utf8, et la différence entre la taille en octets et la taille en caractères montre qu'on est bien sur de l'Unicode.

Par contre, en googlant les tables de caractères, je crois comprendre que le Lâm est censé être un 1604, et que la plage incluant le 55684 est formée de "high surrogates", dont je crois comprendre qu'ils sont censés servir à l'UTF-16 ? Je ne suis pas un spécialiste de l'UTF-8 et je dois dire que je n'ai aucune idée des implications, mais ça pourrait expliquer que la conversion vers le cp1256 ne se passe pas bien.

Citation:

---

Envoyé par anouarm

Effectivement, l'idéale c'est d'utiliser des formulaires utf8, chode que je n'ai pas réuissi à faire avec delphi6. Je trouve sur les forums qu'il faut migrer vers delphi 2009 puor avoir cette possibilité .

parcontre la requette :

Code:

---

SELECT * FROM TABLE WHERE Champs = convert(_cp1256'ÑæÓíÇ' Champs USING utf8)

---

me donne une erreur de syntaxe au niveau de 'Champs USING utf8)'.

s'il s'agit d'une faute de frappe, et qu'il faut enlever le mot champs, la requette :

Code:

---

SELECT * FROM TABLE WHERE Champs = convert(_cp1256'ÑæÓíÇ' USING utf8)

---

ne me donne pas de résultat.

voici aussi le résultat de la requette :

Code:

---

1 2 3

SELECT Champs, convert(_cp1256'%áÈäÇä/ ÓæÑíÉ%' USING utf8) AS Chaine FROM Tbl WHERE id=146501

---

est :

---

Effectivement c'était une erreur de copier-coller, que tu as corrigée comme il le fallait. Désolé !

Ce qui est bizarre dans ta config, c'est qu'il n'y a pas de character_set_results. La doc MySQL me dit que dans ce cas, MySQL envoie les résultats tels quels, sans conversion. On va essayer de forcer la conversion vers le cp1256 :

Code:

---

1 2 3 4

SET character_set_results = cp1256 ; SELECT Champs FROM Tbl WHERE id=146501 ;

---

tu me surprend avec ta connaissance en langue arabe :)

Merci toujours pour ton support.

le résultat de la requette:

Code:

---

1 2 3 4

SET character_set_results = cp1256 ; SELECT Champs FROM Tbl WHERE id=146501 ;

---

me donne :

Citation:

---

?????/ ?????

---

Le résultat de :

Code:

---

1 2 3

SELECT Chmaps, ord(Champs) , 'áÈäÇä/ ÓæÑíÉ', ord('áÈäÇä/ ÓæÑíÉ') FROM Tbl WHERE id=146501

---

donne :

Citation:

---

chmaps : ?????/ ?????
ord(Chmaps): 55684

Chaine : ?????/ ?????
Ord(Chaine) : 50081

---

je rappelle que la même requête sans précision du charsert result donne :

Citation:

---

chmaps : ?????/ ?????
ord(Chmaps): 55684

Chaine : áÈäÇä/ ÓæÑíÉ
Ord(Chaine) : 50081

---