Bagarre avec les caractères spéciaux (base MySql)

Version imprimable

10/07/2006, 19h42
JibéCC

Bagarre avec les caractères spéciaux (base MySql)

Bonjour,
le problème que je rencontre est sans doute entre MySql et JDBC.
Je n'ai pas trouvé de réponse sur le forum MySql, malgrés quelques discussions existantes sur des problèmes similaires.

Voici le contexte :
- une application web en java (JSF, classes métier, classes dao d'accès à la base),
- serveur Tomcat 5.5.12
- MySql 4.1.14 (défaut aussi avec version 5),
- pilote JDBC : mysql-connector-java-3.1.12-bin.jar (défaut aussi avec versions plus récentes).
- développement avec Eclipse 3.1.1

Voici le problème :
1) Des textes avec caractères spéciaux du français (é, è, ë,...) sont stockés dans la base.
2) leur affichage dans le mode console de MySql lors de requêtes se fait correctement.
3) et ô rage... : les mêmes carractères ne s'affichent pas correctement (remplacés par ? ou autres carractères plus "ésotériques") dès la sortie du ResultSet (testé dans la console de Eclipse) et à plus forte raison dans les pages HTML générées par des JSP, elles mêmes traitées par le framework JSF.
Note : les caractères spéciaux s'affichent correctement s'ils sont directement mis dans un String de Java.

J'ai déjà cherché dans plusieurs directions (avec l'aide de différents forums), et notamment en réglant les variables charsets de MySql à la création de la base (avant le chargement des données), par l'application avant les requêtes de consultation (données déjà chargées).

Mais là, j'en perd mon latin (ou mon UTF8, je ne sais plus) !!!

Le problème ne viendrait-il pas du pilote JDBC ?
Quelqu'un peut-il confirmer ou non que le problème n'existe pas avec d'autres DB ?
et enfin : Quelqu'un a-t-il une solution ?

Merci d'avance pour votre aide.
10/07/2006, 19h54
adiGuba

Salut,

Il me semble que tu dois utiliser des paramètres de configuration lors de ta connection SQL, par exemple dans l'URL JDBC:

Code:

jdbc:mysql:domain/dbname?useUnicode=true&characterEncoding=UTF-8

en utilisant UTF8 ou ISO-8859-1 selon le cas...

a++
10/07/2006, 21h11
JibéCC

Merci de ta réaction rapide.
J'ai testé ce que tu me conseille : rien ne change.
A suivre...
11/07/2006, 11h18
JibéCC

Bonjour,
suite à quelques recherches je viens de découvir la chose suivante qui pourrait être une piste :
1) le String de Java est conforme à la codification UTF-16 qui code les carractères sur 1 ou 2 mots de 16 bits.
2) les normes UTF-8 ou ISO-8859-1 codent les charactères qui nous interessent ici (entre 00 et FF en Hexa) sur un octet.

Sachant que seules ces deux dernières normes sont acceptées par MySql, que se passe-t-il lorsque les chaînes issues de MySql (1 octet) passent dans un String Java (un mot de 16 bit) ? Cela en tenant compte que le codage UTF-16 sur un mot de 16 bits (appliqué pour nos carractères) permet deux "endianness" (octet de poids fort en premier ou en deuxième).

Là je suis en limite de connaissances, et, a fortiori, pour trouver la solution.

Y a-t-il un spécialiste dans la salle ?
11/07/2006, 12h10
adiGuba

As-tu bien essayé un insertion et une récupération des données en utilisant les mêmes paramètres de configuration ???

Par exemple je ne pense pas que les éléments insérés avant d'utiliser characterEncoding=UTF-8 ne seront pas correctement encodé ensuite...

a++
11/07/2006, 13h52
JibéCC

Bien vu, et grand merci.

En effet, les données chargées et relues avec l'application avec

Code:

jdbc:mysql:domain/dbname?useUnicode=true&characterEncoding=UTF-8

sont correctement restituées.

Dans mon cas, les données qui posaient problèmes sont des données "invariables" et avaient été chargées (pour les tests de l'application) par un script en mode console de MySql, et sans paramétrage spécifique des charsets.

Dans ce cas de figure (données en lecture) il faut donc veiller à les charger avec un bon paramétrage du script de chargement.

Il me reste cela à tester.

Je donnerai des nouvelles sur cette discussion (bien que mon problème de base soit résolu).

Dans le cas où j'y arrive (!!!) et si cela parraît interessant pour la communauté, je pourrais rédiger une procédure (me le dire et m'indiquer où je puis la mettre à disposition).

Encore merci et à bientôt.
11/07/2006, 13h57
adiGuba

Citation:

Envoyé par JibéCC

Dans le cas où j'y arrive (!!!) et si cela parraît interessant pour la communauté, je pourrais rédiger une procédure (me le dire et m'indiquer où je puis la mettre à disposition).

Bien sûr que c'est intéressant :mrgreen:

Déjà en répondant sur ce sujet cela apportera l'info dans la base de connaissance du forum. Ensuite si tu as le temps tu peux toujours rédigé une Question/Reponse pour la FAQ JDBC dans le post suivant : F.A.Q JDBC - participez ici

Elle sera ensuite publié sur le site lors de la prochaine mise à jours de la FAQ JDBC...

a++ ;)
11/07/2006, 14h33
khokho
Problème resolu

en fait je developpe des EJB et j'avais le même probleme en insérant ceci dans le mysql-ds:
Code:

1 2 <connection-url>jdbc:mysql:domain/dbname?useUnicode=true&characterEncod ing=utf8&charactetrResultSets=utf8</connection-url>
Il peut etre interessant de créer une FAQ la-dessus.
11/07/2006, 14h34
JibéCC

Tu dois avoir quelque part dans ton code Java l'ordre de connexion JDBC à la base de donnée du style :

Code:

Connection con = DriverManager.getConnection(dbUrl, utilisateur, mdp);

C'est en fait la variable dbUrl qui prend la valeur :

Code:

jdbc:mysql:domain/dbname?useUnicode=true&characterEncoding=UTF-8

en adaptant domain, dbname et UTF-8 à ton cas.