Php/MySQL et caractères cyrilliques

Version imprimable

02/02/2009, 04h55
stöckli

Php/MySQL et caractères cyrilliques

Bonjour à tous,

je développe actuellement une petite application en Php/MySQL dans une ex-république soviétique... et se pose donc la question de la gestion des caractères cyrilliques.

Dans une table, certains champs sont donc en cyrillique, mais quand je les affiche via une requête SQL, je n'ai que des ???????? qui apparaissent.

Je précise que j'ai également des caractères cyrilliques dans des labels codés en dur dans mon code php, mais ceux-ci apparaissent sans problème.

D'où la question: que dois-je vérifier / changer pour que les caractères cyrilliques stockés dans la base apparaissent correctement?

Quelques détails techniques:
- Je développe en local avec EasyPhp 3.0 (Apache 2.2.11, PHP 5.2.8, PhpMyAdmin 3.1.1, MySQL 5.1.30)
- Dans l'interface de PhpMyAdmin, les caractères apparaissent correctement
- Toutes mes tables sont de type InnoDB et le collation est utf8_general_ci

Une dernière précision, l'alphabet que j'utilise est en réalité un cyrillique légèrement modifié (tadjik), ce qui change peut-être la donne?

Sûrement une question basique, mais je suis loin d'être un expert!

Merci d'avance,

Stéphane
02/02/2009, 11h10

Bienvenue dans le monde merveuilleux des encodage non ascii (et encore t'as de la chance car tu travaille sur du mono-octal).
le secret est dans les SET NAMES
En gros apres l'initialisation de ta requete tu dois specifier que ta bdd va recevoir du tadjik et que ce qui va en sortir est du tadjik. Toutfois une chose est interessante, depuis mysql 5 meme si ta page est encodee en utf8 tu doit ecrire SET NAMES UTF-8.
donc la solution pour toi c'est D'executer la requete "SET NAMES nom_de_lencodage_de_ta_page"
02/02/2009, 11h12
Mr N.

:salut:

Pour les problème d'encoding, pour ne pas avoir de problèmes (enfin, le moins possibles :aie: ) c'est que toutes ta chaines suive un seul et meme encodage.

Tes données en bases sont en utf8. Ok
Tes scripts php sont-ils utf-8 ?
Est-ce que le flux de données qu'apache envoie au navigateur est utf-8 ? (Firebug > reseau > response header > Content-Type)
Est-ce que ton flux xml contient un tag meta précisant l'encoding utf-8 ?
02/02/2009, 11h29
stöckli

Merci tous les 2 pour votre réponse... mais j'avoue que je nage un peu!

>> mon_nom_est_personne

à quel moment dois-je exécuter cette requête? Est-ce que je dois l'inclure dans chaque SELECT, UPDATE et INSERT?

genre

Code:

SELECT colonne FROM table WHERE colonne = 1 SET NAMES UTF-8

?

>> Mr. N

Base en utf-8 Ok
Fichiers php en utf-8 Ok
Content-type en text/html --> C'est peut-être de là que vient le problème?

Citation:

Est-ce que ton flux xml contient un tag meta précisant l'encoding utf-8

heu... là je nage carrément :oops:
02/02/2009, 15h06
Mr N.
Citation:

Envoyé par stöckli

>> mon_nom_est_personne

à quel moment dois-je exécuter cette requête? Est-ce que je dois l'inclure dans chaque SELECT, UPDATE et INSERT?

genre

Code:

SELECT colonne FROM table WHERE colonne = 1 SET NAMES UTF-8

?

C'est une requete à part entière. Tu l'executes une fois pour toute juste après t'être connecté.

Code:

SET NAMES UTF-8;

Citation:

Envoyé par stöckli

>> Mr. N

Base en utf-8 Ok
Fichiers php en utf-8 Ok
Content-type en text/html --> C'est peut-être de là que vient le problème?

Citation:

Est-ce que ton flux xml contient un tag meta précisant l'encoding utf-8

heu... là je nage carrément :oops:

Tu dois avoir ça dans le code source html recu par le navigateur
Code:

1 2 3 4 5 6 <html> <head> <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" /> <title>......... .....
C'est la première balise que doit rencontrer le navigateur afin de déterminer l'encoding du flux.
02/02/2009, 15h08
Mr N.

Citation:

Envoyé par stöckli

Content-type en text/html --> C'est peut-être de là que vient le problème?

Ce n'est pas suffisant. Il faut le charset. Exemple:

Code:

Content-Type: text/html; charset=UTF-8
03/02/2009, 03h01

Et faut pas non plus oublier de sauvegarder ton fichier php en utf8 ;)
Et ca devrait faire l'affaire. sinon pour regler mes problemes d'encodages j'utilise smarty et je joue avec les post est pre filter pour changer l'encodage final. en gros tout est en utf8 et a la fin, boum je convertie a ce que je veux.
03/02/2009, 05h33
stöckli

re-merci pour vos conseils.... ça marche sans marcher! ;-)

Je m'explique: en fait, j'avais visiblement mal cerné le problème: je viens d'ajouter un enregistrement (en cyrillique) à ma base et tout se passe bien (après avoir suivi vos conseils).

Mais les 1356 enregistrements que j'ai importé, eux, ils continuent à m'afficher des ??????

J'en déduis donc que le problème vient de l'encodage au moment de l'import de mes données.

Ce qui déplace le problème, mais ne le résout pas encore...

Si je résume mon processus:

1) Un fichier Excel contenant 1356 enregistrements (avec nom et prénom en cyrillique, tout s'affiche bien dans Excel)
2) J'enregistre en csv
3) Je rouvre le csv et les noms / prénoms apparaissent comme ?????? (que je l'ouvre avec un tableur ou un éditeur de texte)

Même si j'essaye de le sauvegarder en UTF-8 (j'utilise PSPad comme éditeur), rien ne change...

Donc, en gros, comment faire pour exporter depuis Excel vers un format lisible par MySQL (csv ou SQL à priori) et qui ait un encodage correct?

Je sais, on sort un peu de la rubrique php/MySQL, mais bon, ça reste au moins dans les soucis d'encodage! ;)
03/02/2009, 07h09

je connais ce problem t'es dans la c*****.
export le avec openoffice ;) car tu peu regler l'encodage de sortie, les delimiteurs etc...
03/02/2009, 08h10
stöckli

Ok, on s'approche, mais c'est pas encore ça ;)

Avec openOffice, je peux effectivement exporter mon csv encodé en utf-8 et l'ouvrir proprement avec openOffice ou mon éditeur de texte PSPad (mais quand même pas avec Excel ou Wordpad, faut pas rêver ;) )

Import à nouveau dans MySQL (je précise dans l'interface de phpMyAdmin que l'encodage est UTF-8)

Et toujours le même problème... PhpMyAdmin reconnaît l'encodage (je peux browser mes tables sans problème) mais mon code php est toujours incapable de comprendre ce que c'est! Alors que si je crée un enregistrement en tadjik directement dans l'interface de PhpMyAdmin, pas de souci, il apparaît clairement même dans mon appli...

Une question qui me passe par la tête: quel encodage UTF utiliser pour ma table et mes champs textes?? Est-ce que ça fait une différence entre utf8_general_ci, utf8_unicode_ci,.... ?
03/02/2009, 08h13

T'es sur que la Collation de tes tables sont bien uft8_general_ci ? et que phpmyadmin aussi ? parce que il a l'habitude de mettre par defaut sweden_latin_ci
03/02/2009, 08h22
stöckli

Yes, tout est en utf8_general_ci: phpMyAdmin, mes tables, mes champs textes...
03/02/2009, 09h25
stöckli

Bon, je continue mes investigations...

Toujours pas moyen d'afficher correctement dans mon appli les données en cyrillique que j'ai importées d'Excel (transformées en csv utf-8 par OpenOffice puis importées via PhpMyAdmin). En revanche, dans l'interface de PhpMyAdmin, elles apparaissent correctement.

Si j'entre de nouveaux objets via PhpMyAdmin (en tapant en cyrillique) via la commande Insert, ces nouveaux se comportent comme mes enregistrements importés (lisibles dans PhpMyAdmin, mais pas dans mon appli)

Si j'entre de nouveaux objets via un formulaire de mon appli, les données sont illisibles dans PhpMyAdmin (genre: ÐÐ¾Ñ‘Ð±ÑˆÐ¾ÐµÐ²Ð°) mais apparaissent correctement en cyrillique dans mon appli.

C'est un peu le casse-tête.

Pour mémoire, tout est en utf8_general_ci (MySQL connection collation, database collation, server collation, mes tables et mes champs textes)

Des idées d'où peut venir la boulette?

Merci!
03/02/2009, 09h40

Alors la desole mais a distance j'arrive a court d'idee.
03/02/2009, 11h46
Mr N.

A mon avis ça vient du fait que ta page web reçue par le navigateur n'est pas utf8 du coup le formulaire est envoyé dans le même charset que celui qui a servi à le générer... et il doit y avoir un conflit qq part.
Tu as une url publique qu'on puisse tester ?
03/02/2009, 12h22
stöckli

Pourtant j'ai mis UTF-8 comme charset... ou alors j'ai mal compris ta remarque? (c'est très possible, je suis pas le roi de la programmation!)

Je fais tout en local, mais vais essayer de poser ça sur un serveur et je mets l'adresse dès que possible. Merci!
03/02/2009, 13h27
stöckli

>> Mr. N

Voilà, j'ai uploadé mon code et ma base ici:

http://www.henriod.info/AKDN/porshinev/test/index.php

Pour l'instant, je bosse uniquement sur les formulaires et les fonctions SQL, pas du tout sur le design et l'interactivité, d'où l'aspect un peu dègue du tout!

2-3 explications:

Formulaire "Find a household":

te permet de chercher un habitant selon différents critères.
Quelques exemples de noms qui existent dans ma base (last name) pour faire des recherches:

Wood
wood
La grande woodz
Абдулалишоев
Шейхов
Мирзоев

Le connecteur entre les 3 critères est "AND". D'ailleurs, la requête sql est affichée avec la page de résultats. Si tu tapes un critère en cyrillique, il est correct dans la requête, mais la variable POST, elle, a une tête bizarre... pas encore bien compris la feinte...

Formulaire "Go to household Id"

te permet d'ouvrir un formulaire qui modifie une enregistrement existant (si l'Id est dans la base) ou d'en créer un nouveau (si l'Id n'existe pas encore)

Report

Montre tous les habitants d'un village avec quelques statistiques calculées sur différents champs de la table

Dans PhpMyAdmin, tous les noms / prénoms de ces enregistrements apparaissent correctement

Inutile de dire que ce n'est qu'une copie de ma base, donc sens toi libre de modifier des enregistrements si ça peut faire avance le schmilblick!

Merci 1000 fois si tu as le temps d'y jeter un coup d'oeil et de me dire si tu y vois qqch de bizarre...
03/02/2009, 13h46
Mr N.
Le problème ne vient pas a priori de la partie cliente.

Avant d'effectuer la requete sql que tu affiche en haut de la page, est-ce que tu peux afficher le resultat de cette requetes sql:

Code:

show variables like 'character_set%'
Code:

1 2 3 4 5 6 $res = mysql_query("show variables like 'character_set%'"); echo '<pre>'; while($data = mysql_fetch_assoc($res)) { var_dump($data); } echo '</pre>';
03/02/2009, 14h03
stöckli

C'est fait...
03/02/2009, 14h08
Mr N.

Y a que du latin1... ça sent pas bon.

En fait lorsque un client (ici php) se connecte au serveur mysql, celui-ci lui dit que les échanges seront dans tel ou tel charset. Ici c'est latin1... Or toute ta chaine est utf8 sauf ce maillon.

As-tu fait un SET NAMES comme préconisé au début de ce thread ?

1 pièce(s) jointe(s)

Le SET NAMES était commenté dans mon code :oops:... je viens de le décomenter mais, à priori, ça ne change rien...

Juste après ma fonction qui ouvre la connection MySQL, j'ai donc

Code:

$charset = mysql_query("SET NAMES UTF-8");

Chez moi, la requête SHOW VARIABLES montre surtout du Latin pour les premières variables, et de l'UTF dans les dernières (character_set_system)

Mais pour moi ça reste du chinois! A quel niveau je dois faire des changements pour passer de latin à UTF?

Autre info, quand je lance le script en local, j'ai visiblement une config différente parce que SHOW VARIABLE renvoie plus d'UTF (mais ça marche pas mieux...):
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 array(2) { ["Variable_name"]=> string(20) "character_set_client" ["Value"]=> string(6) "latin1" } array(2) { ["Variable_name"]=> string(24) "character_set_connection" ["Value"]=> string(6) "latin1" } array(2) { ["Variable_name"]=> string(22) "character_set_database" ["Value"]=> string(4) "utf8" } array(2) { ["Variable_name"]=> string(24) "character_set_filesystem" ["Value"]=> string(6) "binary" } array(2) { ["Variable_name"]=> string(21) "character_set_results" ["Value"]=> string(6) "latin1" } array(2) { ["Variable_name"]=> string(20) "character_set_server" ["Value"]=> string(4) "utf8" } array(2) { ["Variable_name"]=> string(20) "character_set_system" ["Value"]=> string(4) "utf8" } array(2) { ["Variable_name"]=> string(18) "character_sets_dir" ["Value"]=> string(47) "C:\Program Files\EasyPHP3\mysql\share\charsets\" }
Autre bizarrerie (cf. image jointe): les valeurs de ces variables dans PhpMyAdmin en local (qui ne correspondent pas à ce que j'ai collé ci-dessus, issu de la requête SHOW VARIABLE

03/02/2009, 14h35
stöckli

Je vais peut-être dire une connerie, mais est-ce que le problème pourrait venir de la config d'Apache?
03/02/2009, 14h40
Mr N.

La vraie syntaxe c'est :

Code:

mysql_query("SET NAMES 'utf8'");

ça devrait etre mieux.
03/02/2009, 14h58
stöckli

[Résolu] Php/MySQL et caractères cyrilliques

ENORME! :king:

C'était effectivement "juste" cette différence UTF-8 <-> utf8 qui bloquait tout...

Merci à tous pour votre aide!
03/02/2009, 15h09
Antoun

Citation:

Envoyé par Mr N.

La vraie syntaxe c'est :

Code:

mysql_query("SET NAMES 'utf8'");

ça devrait etre mieux.

En réalité, c'est :

Code:

mysql_query("SET NAMES utf8");

Mais effectivement les deux fonctionnent.