Discussion :

[anouarm]

Bonjour,

J'ai passé 4 jours entrain de lutter contre un problème de character_set.. mais je n'arrive pas à le résoudre...

avant de d'entrer dans les détails de mon problème je voudrais juste comprendre pourquoi le résultat de cette requette :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
SELECT '%ãäÇØÞ-ãÎÊÕÑÇÊ (2-2)%'

est

%??C??-?IE??CE (2-2)%

au lieu de :

%ãäÇØÞ-ãÎÊÕÑÇÊ (2-2)%

le résultat de : show variables like 'char%' est :

"character_set_client";"cp1256"
"character_set_connection";"cp1256"
"character_set_database";"cp1256"
"character_set_filesystem";"binary"
"character_set_results";"cp1256"
"character_set_server";"cp1256"
"character_set_system";"utf8"

et celui de : show variables like 'coll%' est :

"collation_connection";"cp1256_bin"
"collation_database";"cp1256_bin"
"collation_server";"cp1256_bin"

merci d'avance

[Antoun]

ton client se déclare auprès de MySQL comme du cp1256, alors qu'en fait il utilise un autre jeu de caractères... Pour trouver le jeu de caractères réel, il faut savoir lequel permet de bien représenter un caractère qui sort mal pour le moment, par exemple le ä.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

SELECT _cp850'ä' as cp850, _latin1'ä' as latin1, _cp1256'ä' as cp1256 ;

[anouarm]

Merci beaucoup pour la réponse.

En fait ma question était juste une introduction pour moi pour comprendre pourquoi MySQL ne garde pas la chaine telle qu'elle est tout simplement sans conversion (puisque je ne lui ai pas demandé de la convertir)? surtout que la chaine utilisée contient des caractères du code page 1256 que j'ai utilisé partout?!


Sinon je voudrais bien vous expliquer mon problème.

Introduction :

- La base de données que j'interroge appartient à une application que ma société a achetée. Donc je n'ai pas assez de liberté pour manipuler les collations ou les jeux de caractères dedans.

- La base contient du texte en arabe, et elle est basée sur l'UTF8 (serveur, base, tables et champs). Alors que je travaille avec delphi6 qui n'a pas l'aire de fonctionner correctement avec ce codage. Les résultats des requêtes s'affichent sous forme de "?" (à ma compréhension : des caractères en dehors du jeu de caractères utilisé dans les zones de textes utilisées).

- Pour résoudre le problème de l'affichage J'ai introduit dans la ConnectionString de ma connexion à la base, l'instruction :

Charset=cp1256;

, et j'ai utilisé

convert([Champs] using cp1256)

dans la clause SELECT. Tout marche parfaitement avec cette solution.


Problème :

Maintenant voici le problème qui me bloque :

- Je dois programmer une fonction de recherche. L'utilisateur dois saisir des mots clés dans une zone de texte qui adopte le charset arabe windows (code page 1256). Ces mots clés sont concaténés avec la chaine SQL.

Pour moi la requette suivante devait marcher parfaitement :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

SELECT * FROM Table WHERE convert(Champs using cp1256)='ÑæÓíÇ'

mais elle m'a donné une erreur : illegal mix of collation.
D'après ce que j'ai compris, il considère 'ÑæÓíÇ' comme étant une chaine UTF8.

La requête :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

SELECT * FROM Table WHERE convert(Champs using cp1256)=_cp1256'ÑæÓíÇ'

ne donne rien comme résultat alors qu'elle doit, parce que la chaine arabe que je cherche était copiée/collée à partir du résultat d'affichage d'une requête. et c'est normale qu'elle ne donne rien puisque quand j'affiche le résultat de

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

SELECT _cp1256'ÑæÓíÇ'

, elle me donne 'ÑæÓÃ*Ç'.

J'ai fait d'autres actions que je peux vous les citer si vous voulez (je vois déjà que mon sujet commence à devenir illisible )

Quel pourrait être le problème?
Est ce qu'il y a une méthode pour convaincre MySQL que la chine est en cp1256, et qu'il dois la laisser telle qu'elle est?

[Antoun]

euh... est-ce qu'il y a une méthode pour te convaincre que ta chaîne n'est peut-être pas en cp1256, et que tu devrais tester ma requête ?

[anouarm]

désolé ce n'était pas mon intention d'ignorer ta requête.. en fait le résultat de la requête est "?" partout. J'ai essayé aussi utf8 mais il donne aussi "?"

Ce qui m'a poussé à décrire mon problème ce-dessus, c'est que : il n'est pas suffisant pour moi d'avoir la chaine de caractère telle qu'elle est mais que le champs où je cherche dois aussi contenir la même chiane avec le même codage.

une requête du genre

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

SELECT Champs, 'ÑæÓíÇ' WHERE id=2222

ou

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

SELECT convert(Champs using cp1256), _cp1256'ÑæÓíÇ' WHERE id=2222

devrais me donner

ÑæÓíÇ , ÑæÓíÇ

et non pas

ÑæÓíÇ, ÑæÓÃ*Ç

[Antoun]

ok... si tu enlèves Charset=cp1256 de ta connection string, que donne le show variables like 'char%' ?

[anouarm]

j'était entrain d'éditer le message en même temps..

Je vais essayer et je vous répond tout de suite

[anouarm]

ça donne :
haracter_set_client : utf8
character_set_connection : utf8
character_set_database : latin1
character_set_filesystem : binary
character_set_results :
character_set_server : cp1256
character_set_system : utf8

[anouarm]

en principe tout était UTF8 au début.. c'est avec pleins des essais que j'ai fait qu'on trouve le cp1256 parmis les réslutats (et peut être lême le latin1)

[Antoun]

OK... peux-tu tester l'utf8 (en passant bien sûr par Delphi) ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

SELECT _utf8'ä'  ;

au cas où ça ne marche pas, second test :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
SET NAMES utf8 ;
SELECT _utf8'ä'  ;

[anouarm]

les résultat est : 'ä' que ça soit avec _utf8 ou sans _utf8

Les charset client et connection :

character_set_client : utf8
character_set_connection : utf8

---

[anouarm]

Mais la requêtte :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

SELECT Champs FROM Tbl where id=146501

me donne :

?????/ ?????

Au lieu de :

áÈäÇä/ ÓæÑíÉ

character_set_client : utf8
character_set_connection : utf8
character_set_database : utf8
character_set_filesystem : binary
character_set_results :
character_set_server : utf8
character_set_system : utf8

(C'est different de l'affichage de la première fois, parce que j'ai annulé tous les changements que j'avais fais sur le charset du server, base, tables et collonnes)

[Antoun]

Bon, on a réglé la première question : ton Delphi est en utf8, et il faut rester là-dessus (au besoin en mettant Charset=utf8 dans la connection string).

Passons à la seconde question : pourquoi les données de Tbl ne s'affichent pas correctement ? Il y a deux possibilités, soit les données sont mal stockées, soit elles sont bien stockées mais mal affichées.

Testons la première hypothèse :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
SELECT Champs, 
  ORD(Champs) as Codage_1er_Car, 
  CHARSET(Champs) AS Jeu_Caracteres, 
  LENGTH(Champs) AS Nb_Octets, 
  CHARACTER_LENGTH(Champs) AS Nb_Caracteres
FROM Tbl 
WHERE id=146501

[Antoun]

Hello again !

Je relis le post où tu détaillais le problème...

- Je dois programmer une fonction de recherche. L'utilisateur dois saisir des mots clés dans une zone de texte qui adopte le charset arabe windows (code page 1256). Ces mots clés sont concaténés avec la chaine SQL.

Pour moi la requette suivante devait marcher parfaitement :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

SELECT * FROM Table WHERE convert(Champs using cp1256)='ÑæÓíÇ'

mais elle m'a donné une erreur : i

Si je comprends bien :

• ton code Delphi est en utf8
• tes données sont du texte arabe en utf8
• tes formulaires sont en cp1256

J'imagine que pour faire marcher ta requête, il faudrait faire :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

SELECT * FROM Table WHERE Champs = convert(_cp1256'ÑæÓíÇ' Champs using utf8)

L'idéal serait évidemment d'avoir des formulaires en utf8, ce qui te permettrait de faire directement :

SELECT * FROM Table WHERE Champs = 'أنور' ;

[anouarm]

Le résultat de :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
SELECT Champs, 
  ORD(Champs) AS Codage_1er_Car, 
  CHARSET(Champs) AS Jeu_Caracteres, 
  LENGTH(Champs) AS Nb_Octets, 
  CHARACTER_LENGTH(Champs) AS Nb_Caracteres
FROM Tbl 
WHERE id=146501

est

Champs : ?????/ ?????
Codage_1er_Car : 55684
Jeu_Caracteres : utf8
Nb_Octets : 25
Nb_Caracteres : 15

[anouarm]

Effectivement, l'idéale c'est d'utiliser des formulaires utf8, chode que je n'ai pas réuissi à faire avec delphi6. Je trouve sur les forums qu'il faut migrer vers delphi 2009 puor avoir cette possibilité .

parcontre la requette :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

SELECT * FROM TABLE WHERE Champs = convert(_cp1256'ÑæÓíÇ' Champs USING utf8)

me donne une erreur de syntaxe au niveau de 'Champs USING utf8)'.

s'il s'agit d'une faute de frappe, et qu'il faut enlever le mot champs, la requette :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

SELECT * FROM TABLE WHERE Champs = convert(_cp1256'ÑæÓíÇ' USING utf8)

ne me donne pas de résultat.

voici aussi le résultat de la requette :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
SELECT Champs, convert(_cp1256'%áÈäÇä/ ÓæÑíÉ%' USING utf8) AS Chaine 
FROM Tbl 
WHERE  id=146501

est :

Chmaps : ?????/ ?????
Chaine : %???ˆ?¤?‡?¤/ ?“?¦?‘?*?‰%

[anouarm]

et voici un autre résultat :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
SELECT convert(Champs using cp1256), _cp1256'%áÈäÇä/ ÓæÑíÉ%' 
FROM Tbl 
WHERE  id=146501

Champs : áÈäÇä/ ÓæÑíÉ
Chaine : %áÈäÇä/ Ã*É%

Le seul affichage qui coinside est :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
SELECT convert(Champs using cp1256), '%áÈäÇä/ ÓæÑíÉ%' 
FROM Tbl 
WHERE  id=146501

Champs : áÈäÇä/ ÓæÑíÉ
Chaine : áÈäÇä/ ÓæÑíÉ

Mais les deux résultats sont de différents charset , donc impossible de les réunir dans la clause WHERE

[Antoun]

Le résultat de :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
SELECT Champs, 
  ORD(Champs) AS Codage_1er_Car, 
  CHARSET(Champs) AS Jeu_Caracteres, 
  LENGTH(Champs) AS Nb_Octets, 
  CHARACTER_LENGTH(Champs) AS Nb_Caracteres
FROM Tbl 
WHERE id=146501

est

Champs : ?????/ ?????
Codage_1er_Car : 55684
Jeu_Caracteres : utf8
Nb_Octets : 25
Nb_Caracteres : 15

Bon, au moins les données ont l'air correctes. Le caractère utf8 55684 ressemble bien à un Lâm arabe, il est bien déclaré comme utf8, et la différence entre la taille en octets et la taille en caractères montre qu'on est bien sur de l'Unicode.

Par contre, en googlant les tables de caractères, je crois comprendre que le Lâm est censé être un 1604, et que la plage incluant le 55684 est formée de "high surrogates", dont je crois comprendre qu'ils sont censés servir à l'UTF-16 ? Je ne suis pas un spécialiste de l'UTF-8 et je dois dire que je n'ai aucune idée des implications, mais ça pourrait expliquer que la conversion vers le cp1256 ne se passe pas bien.

[Antoun]

Effectivement, l'idéale c'est d'utiliser des formulaires utf8, chode que je n'ai pas réuissi à faire avec delphi6. Je trouve sur les forums qu'il faut migrer vers delphi 2009 puor avoir cette possibilité .

parcontre la requette :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

SELECT * FROM TABLE WHERE Champs = convert(_cp1256'ÑæÓíÇ' Champs USING utf8)

me donne une erreur de syntaxe au niveau de 'Champs USING utf8)'.

s'il s'agit d'une faute de frappe, et qu'il faut enlever le mot champs, la requette :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

SELECT * FROM TABLE WHERE Champs = convert(_cp1256'ÑæÓíÇ' USING utf8)

ne me donne pas de résultat.

voici aussi le résultat de la requette :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
SELECT Champs, convert(_cp1256'%áÈäÇä/ ÓæÑíÉ%' USING utf8) AS Chaine 
FROM Tbl 
WHERE  id=146501

est :

Effectivement c'était une erreur de copier-coller, que tu as corrigée comme il le fallait. Désolé !

Ce qui est bizarre dans ta config, c'est qu'il n'y a pas de character_set_results. La doc MySQL me dit que dans ce cas, MySQL envoie les résultats tels quels, sans conversion. On va essayer de forcer la conversion vers le cp1256 :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
SET character_set_results = cp1256 ;
SELECT Champs
FROM Tbl 
WHERE  id=146501 ;

[anouarm]

tu me surprend avec ta connaissance en langue arabe

Merci toujours pour ton support.

le résultat de la requette:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
SET character_set_results = cp1256 ;
SELECT Champs
FROM Tbl 
WHERE  id=146501 ;

me donne :

?????/ ?????

Le résultat de :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
SELECT Chmaps, ord(Champs) , 'áÈäÇä/ ÓæÑíÉ', ord('áÈäÇä/ ÓæÑíÉ') 
FROM Tbl 
WHERE id=146501

donne :

chmaps : ?????/ ?????
ord(Chmaps): 55684

Chaine : ?????/ ?????
Ord(Chaine) : 50081

je rappelle que la même requête sans précision du charsert result donne :

chmaps : ?????/ ?????
ord(Chmaps): 55684

Chaine : áÈäÇä/ ÓæÑíÉ
Ord(Chaine) : 50081