Modification du codage d'une base vers utf8

**gelinp** · 20/08/2016, 15h18

Bonjour,

J'ai une base mysql avec des tables MyISAM dont certaines utilisent l'encodage latin1_swedish_ci et d'autres l'encodage utf8_unicode_ci. Comme mon serveur est configuré par défaut en utf8 je voudrais que toutes mes tables utilisent l'encodage utf8.

J'ai trouvé une procédure de conversion d'une base mysql vers utf8 dans un tutoriel moodle qui devait me permettre de transformer ma base en utf8. Le principe est simple :
1. Exporter mes tables en SQL avec l'encodage utf8
2. remplacer les CHARSET=latin1 par CHARSET=utf8
3. réimporter ma base

Je l'ai donc appliqué la procédure et malgré cela il me reste des caractères non utf8 dans mon fichier SQL, si bien que la fonction d'importation de phpmyadmin refuse l'import et me signale un message d'erreur...

En regardant mon fichier avec Emacs je crois comprendre que le fichier SQL exporté utiliserait en fait un format mixte : l'essentiel semble en code ASCII avec parfois des séquences d'échappement du type \303\304 (deux séquences par caractère UNICODE) mais aussi avec des caractères accentués, je comprends alors avec un codage UTF8 ...

Auriez-vous une meilleur procédure à me communiquer sinon une info qui pourrait m'aider ?
Patrick

Configuration : Linux debian + Mysql 5.5

**Artemus24** · 20/08/2016, 18h31

Salut gelinp.

Envoyé par gelinp

Comme mon serveur est configuré par défaut en utf8 je voudrais que toutes mes tables utilisent l'encodage utf8.

Il n'est pas nécessaire d'être totalement homogène en ce qui concerne vos bases de données.
En ce qui concerne le "système", le coeur de mysql, j'ai laissé en l'état et c'est normal de ne pas y toucher !

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
--------------
SHOW global  Variables where Variable_name LIKE 'character\_set\_%'
--------------
 
+--------------------------+--------+
| Variable_name            | Value  |
+--------------------------+--------+
| character_set_client     | latin1 |
| character_set_connection | latin1 |
| character_set_database   | latin1 |
| character_set_filesystem | latin1 |
| character_set_results    | latin1 |
| character_set_server     | latin1 |
| character_set_system     | utf8   |
+--------------------------+--------+

Pour le reste, j'ai basculé en "ISO-8859-1" c'est-à-dire "latin1" sous mysql. Pourquoi ce choix ?
L'inconvénient de l'utf8 est la longueur non constante des caractères alors que j'utilise seulement le français et l'anglais.
Car pour un même texte, avec "UTF8" j'aurai presque le double en longueur vis-à-vis de "ISO-8859-1".
Et oui, "latin1" codifie un caractère dans un seul octet, ce qui limite au maximum à 256 caractères.
"utf8" codifie un caractère de 1 à 3 octets.

Comment déclarer sa base de données avec le charset de son choix ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
DROP DATABASE IF EXISTS `base`;
 
CREATE DATABASE `base`
	DEFAULT CHARACTER SET `utf8`
	DEFAULT COLLATE       `utf8_general_ci`;

Comment déclarer ses tables avec le charset de son choix ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
DROP TABLE IF EXISTS `test`;
 
CREATE TABLE `test`
( `id`       integer unsigned NOT NULL AUTO_INCREMENT,
  `chaine`   varchar(255)     NOT NULL,
  ...
) ENGINE=InnoDB
  DEFAULT CHARSET=`utf8` COLLATE=`utf8_general_ci`
  ROW_FORMAT=COMPRESSED;

Il est inutile de préciser quoi que ce soit d'autre au niveau de la colonne.

Que mettre au niveau du fichier "my.ini" (pour windows sinon c'est "my.cnf" sous linux)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
[client]

default-character-set = latin1

[wampmysqld]
character-set-server     = latin1
collation-server         = latin1_general_ci
character-set-filesystem = latin1

init-connect             = 'SET collation_connection = latin1_general_ci; SET NAMES latin1 COLLATE latin1_general_ci'

C'est ce que j'ai mis chez moi, c'est-à-dire "latin1".

Envoyé par gelinp

J'ai donc appliqué la procédure et malgré cela il me reste des caractères non utf8 dans mon fichier SQL

Non ! Les caractères que vous avez dans votre fichier SQL sont codifiés en "latin1".
C'est normal car c'est un vidage de votre ancienne base de données !

Mais pour que la conversion se fasse correctement, MySql doit connaitre le charset utilisez dans le fichier SQL.
Mais MySql doit aussi connaitre le charset de vos nouvelles bases de données, qui sera précisé dans le fichier "my.ini".

Qu'est-ce que vous avez oubliez de faire ?
De mettre ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

set names=utf8;

Envoyé par gelinp

En regardant mon fichier avec Emacs je crois comprendre que le fichier SQL exporté utiliserait en fait un format mixte

Si vous ne donnez pas un exemple du contenu du fichier export, on ne peut pas deviner la nature de votre problème.

Envoyé par gelinp

l'essentiel semble en code ASCII avec parfois des séquences d'échappement du type \303\304 (deux séquences par caractère UNICODE)

Vous avez dit que vous travaillez avec le charset "latin1".
Que vient faire la codification "ASCII" maintenant ???

"\0303" c'est une codification en octal et représente "0x00C3".
C'est le caractère "Ã" (un tilda sur le "A" majuscule), qui a pour valeur decimal 195.
Vous pouvez voir ce caractère dans le charset "iso-8859-1" dans ce lien : https://fr.wikipedia.org/wiki/ISO/CEI_8859-1

Envoyé par gelinp

mais aussi avec des caractères accentués, je comprends alors avec un codage UTF8 ...

Si vos anciennes bases de données utilisent le charset "latin1", à votre avis qu'est-ce que l'on va obtenir dans le vidage ?
Non, ce n'est pas de l'UTF8 que vous obtiendrez mais bien du "latin1".

Envoyé par gelinp

Auriez-vous une meilleur procédure à me communiquer sinon une info qui pourrait m'aider ?

Il vous faut deux informations :
1) faites en sorte que dans le fichier SQL, MySql sache que vous êtes en "latin1".
Au moment de faire l'export sous phpmyadmin, cliquez sur "Personnalisée - afficher toutes les options possibles".
Puis sélectionnez "Jeu de caractères du fichier :" en mettant "iso-8859-1". C'est normal de mettre ceci car votre base de données est en "latin1".

2) ne pas oublier de déclarer correctement votre fichier "my.ini" avec l'UTF8.

Si ça peut vous aider, voici un exemple de conversion d'une table utf8 en latin1.
Ce n'est pas exactement la manipulation que vous essayez de faire.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
--------------
SET AUTOCOMMIT = 0
--------------
 
--------------
START TRANSACTION
--------------
 
--------------
DROP DATABASE IF EXISTS `base`
--------------
 
--------------
CREATE DATABASE `base`
        DEFAULT CHARACTER SET `utf8`
        DEFAULT COLLATE       `utf8_bin`
--------------
 
--------------
DROP TABLE IF EXISTS `test`
--------------
 
--------------
CREATE TABLE IF NOT EXISTS `test`
( `id`        integer unsigned not null auto_increment primary key,
  `nom`       varchar(255)     not null
) engine=innoDB
  default charset=utf8 collate=utf8_bin
  row_format=compressed
--------------
 
--------------
insert into `test` (`nom`) values
  ('forêt'), ('été'), ('après'), ('aigüe'), ('canoë'), ('15€')
--------------
 
--------------
select id, nom, length(nom) from test
--------------
 
+----+-------+-------------+
| id | nom   | length(nom) |
+----+-------+-------------+
|  1 | forêt |           6 |
|  2 | été   |           5 |
|  3 | après |           6 |
|  4 | aigüe |           6 |
|  5 | canoë |           6 |
|  6 | 15€   |           5 |
+----+-------+-------------+
--------------
select schema_name,
       default_character_set_name,
       default_collation_name
from   information_schema.schemata
where  schema_name = 'base'
--------------
 
+-------------+----------------------------+------------------------+
| schema_name | default_character_set_name | default_collation_name |
+-------------+----------------------------+------------------------+
| base        | utf8                       | utf8_bin               |
+-------------+----------------------------+------------------------+
--------------
select table_schema,
       table_name,
       table_collation
from       information_schema.tables                                as t
inner join information_schema.collation_character_set_applicability as c
on    c.collation_name = t.table_collation
where t.table_schema = 'base'
  and t.table_name   = 'test'
--------------
 
+--------------+------------+-----------------+
| table_schema | table_name | table_collation |
+--------------+------------+-----------------+
| base         | test       | utf8_bin        |
+--------------+------------+-----------------+
--------------
select table_schema,
       table_name,
       column_name,
       character_set_name,
       collation_name
from information_schema.columns
where table_schema = 'base'
  and table_name   = 'test'
  and column_name  = 'nom'
--------------
 
+--------------+------------+-------------+--------------------+----------------+
| table_schema | table_name | column_name | character_set_name | collation_name |
+--------------+------------+-------------+--------------------+----------------+
| base         | test       | nom         | utf8               | utf8_bin       |
+--------------+------------+-------------+--------------------+----------------+
--------------
show full columns from test
--------------
 
+-------+------------------+-----------+------+-----+---------+----------------+---------------------------------+---------+
| Field | Type             | Collation | Null | Key | Default | Extra          | Privileges                      | Comment |
+-------+------------------+-----------+------+-----+---------+----------------+---------------------------------+---------+
| id    | int(10) unsigned | NULL      | NO   | PRI | NULL    | auto_increment | select,insert,update,references |         |
| nom   | varchar(255)     | utf8_bin  | NO   |     | NULL    |                | select,insert,update,references |         |
+-------+------------------+-----------+------+-----+---------+----------------+---------------------------------+---------+
--------------
show create table `test`
--------------
 
+-------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table | Create Table                                                                                                                                                                                                                             |
+-------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| test  | CREATE TABLE `test` (
  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `nom` varchar(255) COLLATE utf8_bin NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=7 DEFAULT CHARSET=utf8 COLLATE=utf8_bin ROW_FORMAT=COMPRESSED |
+-------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
--------------
alter database `base`
        DEFAULT CHARACTER SET `latin1`
        DEFAULT COLLATE       `latin1_general_ci`
--------------
 
--------------
alter table `test`
  convert to character set `latin1` collate `latin1_general_ci`
--------------
 
--------------
select id, nom, length(nom) from test
--------------
 
+----+-------+-------------+
| id | nom   | length(nom) |
+----+-------+-------------+
|  1 | forêt |           5 |
|  2 | été   |           3 |
|  3 | après |           5 |
|  4 | aigüe |           5 |
|  5 | canoë |           5 |
|  6 | 15€   |           3 |
+----+-------+-------------+
--------------
select schema_name,
       default_character_set_name,
       default_collation_name
from   information_schema.schemata
where  schema_name = 'base'
--------------
 
+-------------+----------------------------+------------------------+
| schema_name | default_character_set_name | default_collation_name |
+-------------+----------------------------+------------------------+
| base        | latin1                     | latin1_general_ci      |
+-------------+----------------------------+------------------------+
--------------
select table_schema,
       table_name,
       table_collation
from       information_schema.tables                                as t
inner join information_schema.collation_character_set_applicability as c
on    c.collation_name = t.table_collation
where t.table_schema = 'base'
  and t.table_name   = 'test'
--------------
 
+--------------+------------+-------------------+
| table_schema | table_name | table_collation   |
+--------------+------------+-------------------+
| base         | test       | latin1_general_ci |
+--------------+------------+-------------------+
--------------
select table_schema,
       table_name,
       column_name,
       character_set_name,
       collation_name
from information_schema.columns
where table_schema = 'base'
  and table_name   = 'test'
  and column_name  = 'nom'
--------------
 
+--------------+------------+-------------+--------------------+-------------------+
| table_schema | table_name | column_name | character_set_name | collation_name    |
+--------------+------------+-------------+--------------------+-------------------+
| base         | test       | nom         | latin1             | latin1_general_ci |
+--------------+------------+-------------+--------------------+-------------------+
--------------
show full columns from test
--------------
 
+-------+------------------+-------------------+------+-----+---------+----------------+---------------------------------+---------+
| Field | Type             | Collation         | Null | Key | Default | Extra          | Privileges                      | Comment |
+-------+------------------+-------------------+------+-----+---------+----------------+---------------------------------+---------+
| id    | int(10) unsigned | NULL              | NO   | PRI | NULL    | auto_increment | select,insert,update,references |         |
| nom   | varchar(255)     | latin1_general_ci | NO   |     | NULL    |                | select,insert,update,references |         |
+-------+------------------+-------------------+------+-----+---------+----------------+---------------------------------+---------+
--------------
show create table `test`
--------------
 
+-------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table | Create Table                                                                                                                                                                                                                                                 |
+-------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| test  | CREATE TABLE `test` (
  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `nom` varchar(255) COLLATE latin1_general_ci NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=7 DEFAULT CHARSET=latin1 COLLATE=latin1_general_ci ROW_FORMAT=COMPRESSED |
+-------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
--------------
COMMIT
--------------
 
--------------
SET AUTOCOMMIT = 1
--------------
 
Appuyez sur une touche pour continuer...

Le test de la conversion se fait en affichant la longueur des mots.

@+

**gelinp** · 21/08/2016, 09h08

Merci beaucoup Artemus24 pour toutes vos explications !

Je n'avais pas téléchargé mon fichier mysql car il fait plus de 10 Mo. Je vous le communique quand même maintenant via un téléchargement depuis un emplacement sur un serveur web. Ce fichier resulte d'un export depuis la commande mysqldump communiquée par le tutoriel (voir ci dessous), avec une configuration de mon serveur mysql en utf8 :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

mysqldump -uusername -p -c -e --default-character-set=utf8 --single-transaction --skip-set-charset --add-drop-database -B bibli > bibli-utf8.sql

Je communique maintenant le même fichier, résultant de la meme commande avec le parametre latin1 et apres avoir reconfiguré mon serveur mysql en latin1:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

mysqldump -uusername -p -c -e --default-character-set=latin1 --single-transaction --skip-set-charset --add-drop-database -B bibli > bibli-latin1.sql

J'ai préféré cette commande au service d'export de phpmyadmin car mon serveur web est installé en local et je pensais que ma base était incomplète avec l'export phpmyadmin car l'export phpmyadmin ne faisait que 11 Mo alors que la sauvegarde de ma base par son application (PMB : Gestion de bibliothèque) faisait plutôt 38 Mo... Mais finalement avec mysqldump l'export fait la même taille que l'export de phpmyadmin...

Je viens donc de repositionner my.cnf avec latin1 comme vous l'avez indiqué. Toutefois je ne comprends pas le groupe [wampmysqld] car dans mon fichier my.cnf il n'existe pas, j'ai seulement un groupe [mysqld]. J'ai donc j'ai positionné le choix des charset latin1 du serveur dans [mysqld] et aussi dans [wampmysqld] que j'ai ajouté... Je vous communique ci dessous mon fichier de configuration my.cnf :

my.cnf:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
#
# The MySQL database server configuration file.
#
# You can copy this to one of:
# - "/etc/mysql/my.cnf" to set global options,
# - "~/.my.cnf" to set user-specific options.
# 
# One can use all long options that the program supports.
# Run program with --help to get a list of available options and with
# --print-defaults to see which it would actually understand and use.
#
# For explanations see
# http://dev.mysql.com/doc/mysql/en/server-system-variables.html
 
# This will be passed to all mysql clients
# It has been reported that passwords should be enclosed with ticks/quotes
# escpecially if they contain "#" chars...
# Remember to edit /etc/mysql/debian.cnf when changing the socket location.
[client]
default-character-set = latin1
 
port		= 3306
socket		= /var/run/mysqld/mysqld.sock
 
# Here is entries for some specific programs
# The following values assume you have at least 32M ram
 
# This was formally known as [safe_mysqld]. Both versions are currently parsed.
[mysqld_safe]
socket		= /var/run/mysqld/mysqld.sock
nice		= 0
 
[mysqld]
#
# * Basic Settings
#
user		= mysql
pid-file	= /var/run/mysqld/mysqld.pid
socket		= /var/run/mysqld/mysqld.sock
port		= 3306
basedir		= /usr
datadir		= /srv/mysql
tmpdir		= /tmp
lc-messages-dir	= /usr/share/mysql
skip-external-locking
#
# Instead of skip-networking the default is now to listen only on
# localhost which is more compatible and is not less secure.
bind-address		= 127.0.0.1
#
# * Fine Tuning
#
key_buffer		= 16M
max_allowed_packet	= 16M
thread_stack		= 192K
thread_cache_size       = 8
# This replaces the startup script and checks MyISAM tables if needed
# the first time they are touched
myisam-recover         = BACKUP
#max_connections        = 100
#table_cache            = 64
#thread_concurrency     = 10
#
# * Query Cache Configuration
#
query_cache_limit	= 1M
query_cache_size        = 16M
#
# * Logging and Replication
#
# Both location gets rotated by the cronjob.
# Be aware that this log type is a performance killer.
# As of 5.1 you can enable the log at runtime!
#general_log_file        = /var/log/mysql/mysql.log
#general_log             = 1
#
# Error log - should be very few entries.
#
log_error = /var/log/mysql/error.log
#
# Here you can see queries with especially long duration
#slow_query_log_file = /var/log/mysql/mysql-slow.log
#slow_query_log      = 1
#long_query_time = 2
#log_queries_not_using_indexes
#
# The following can be used as easy to replay backup logs or for replication.
# note: if you are setting up a replication slave, see README.Debian about
#       other settings you may need to change.
#server-id		= 1
#log_bin			= /var/log/mysql/mysql-bin.log
expire_logs_days	= 10
max_binlog_size         = 100M
#binlog_do_db		= include_database_name
#binlog_ignore_db	= include_database_name
#
# * InnoDB
#
# InnoDB is enabled by default with a 10MB datafile in /var/lib/mysql/.
# Read the manual for more InnoDB related options. There are many!
#
# * Security Features
#
# Read the manual, too, if you want chroot!
# chroot = /var/lib/mysql/
#
# For generating SSL certificates I recommend the OpenSSL GUI "tinyca".
#
# ssl-ca=/etc/mysql/cacert.pem
# ssl-cert=/etc/mysql/server-cert.pem
# ssl-key=/etc/mysql/server-key.pem
 
 
character-set-server = latin1
collation-server = latin1_general_ci
character-set-filesystem = latin1
init-connect = 'SET collation_connection = latin1_general_ci; SET NAMES latin1 COLLATE latin1_general_ci'
character-sets-dir = /usr/share/mysql/charsets/
#default-time-zone = 'timezone'
 
[wampmysqld]
character-set-server     = latin1
collation-server         = latin1_general_ci
character-set-filesystem = latin1
init-connect             = 'SET collation_connection = latin1_general_ci; SET NAMES latin1 COLLATE latin1_general_ci'
 
 
[mysqldump]
quick
quote-names
max_allowed_packet	= 16M
 
[mysql]
#no-auto-rehash	# faster start of mysql but no tab completition
 
[isamchk]
key_buffer		= 16M
 
#
# * IMPORTANT: Additional settings that can override those from this file!
#   The files must end with '.cnf', otherwise they'll be ignored.
#
!includedir /etc/mysql/conf.d/

Après reboot de mysql (et apache) je me suis aperçu que phpmyadmin n'avait pas pris la modification.... J'ai donc changé les variables directement dans phpmyadmin mais là encore il refuse de prendre latin1, indiquant pour la session courante il continu d'utiliser utf8... J'ai cherché une solution sur Internet mais je n'ai pas encore trouvé....
Nom : Capture@phpmyadmin_variables.png
Affichages : 4272
Taille : 121,3 Ko

Nom : Capture@phpmyadmin_variables.png
Affichages : 4272
Taille : 121,3 Ko

page d'accueil de phpmyadmin qui indique encore l'usage de utf8 malgré la modification de my.cnf et des variables dans phpmyadmin :
Nom : Capture@phpmyadmin_home.png
Affichages : 4163
Taille : 49,5 Ko

Nom : Capture@phpmyadmin_home.png
Affichages : 4163
Taille : 49,5 Ko

Et ci-dessous le resultat de la commande status sur le client mysql en console, il affiche pourtant bien latin1 à tous les niveaux, même pour la connexion...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
mysql> status
--------------
mysql  Ver 14.14 Distrib 5.5.50, for debian-linux-gnu (i686) using readline 6.3
 
Connection id:          337
Current database:
Current user:           root@localhost
SSL:                    Not in use
Current pager:          stdout
Using outfile:          ''
Using delimiter:        ;
Server version:         5.5.50-0+deb8u1 (Debian)
Protocol version:       10
Connection:             Localhost via UNIX socket
Server characterset:    latin1
Db     characterset:    latin1
Client characterset:    latin1
Conn.  characterset:    latin1
UNIX socket:            /var/run/mysqld/mysqld.sock
Uptime:                 4 hours 49 min 44 sec
 
Threads: 1  Questions: 3588  Slow queries: 0  Opens: 54  Flush tables: 1  Open tables: 47  Queries per second avg: 0.206
--------------

Question : Lorsque vous dites d'ajouter set names=utf8; je comprends que cela doit être inséré après l'export du fichier SQL dans le but d'indiquer à Emcas que l'encodage serait utf8 ... C'est bien cela ?

Merci encore pour votre aide.

**Artemus24** · 21/08/2016, 16h47

Salut gelinp.

J'utilise phpmyadmin version 4.6.4.

A) le chargement des deux fichiers ".sql".

J'ai modifié le nom de la base de données dans le fichier "bibli-latin1.sql.txt", en le renommant en "bibli2" partout !

Sous PhpMyAdmin, au moment du chargement, j'ai précisé le jeu de caractères.
Zone de saisie : Jeu de caractères du fichier :.
J'ai précisé "utf8" ou "iso-8859-1" (c'est "latin1") selon le cas.

A-1) L'importation a réussi, 2808 requêtes exécutées. (bibli-utf8.sql.txt).
A-2) L'importation a réussi, 2808 requêtes exécutées. (bibli-latin1.sql.txt).

Conclusion : aucun problème de chargement !!!

J'ai commencé par connaitre le collation par défaut que vous utilisez.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
--------------
select schema_name,
       default_character_set_name,
       default_collation_name
from   information_schema.schemata
where  schema_name = 'bibli'
--------------
 
+-------------+----------------------------+------------------------+
| schema_name | default_character_set_name | default_collation_name |
+-------------+----------------------------+------------------------+
| bibli       | latin1                     | latin1_swedish_ci      |
+-------------+----------------------------+------------------------+
--------------
select schema_name,
       default_character_set_name,
       default_collation_name
from   information_schema.schemata
where  schema_name = 'bibli2'
--------------
 
+-------------+----------------------------+------------------------+
| schema_name | default_character_set_name | default_collation_name |
+-------------+----------------------------+------------------------+
| bibli2      | latin1                     | latin1_swedish_ci      |
+-------------+----------------------------+------------------------+

C'est du "latin1_swedish_ci". A priori, aucune collation n'a été précisé pour la base de données.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
--------------
select character_set_name,
       collation_name
from information_schema.columns
where table_schema = 'bibli'
  and character_set_name is not null
group by character_set_name, collation_name
--------------
 
+--------------------+-------------------+
| character_set_name | collation_name    |
+--------------------+-------------------+
| latin1             | latin1_swedish_ci |
| utf8               | utf8_unicode_ci   |
+--------------------+-------------------+
--------------
select character_set_name,
       collation_name
from information_schema.columns
where table_schema = 'bibli2'
  and character_set_name is not null
group by character_set_name, collation_name
--------------
 
+--------------------+-------------------+
| character_set_name | collation_name    |
+--------------------+-------------------+
| latin1             | latin1_swedish_ci |
| utf8               | utf8_unicode_ci   |
+--------------------+-------------------+

J'ai cru que toutes tes tables étaient dans le même charset, en "latin1".
Dans la base de données, vous faites cohabiter du "latin1" et du "utf8".
C'est pas grave, mais j'ai cru que votre base de données était dans le même charset.

B) Conversion de la base de données.

J'ai fait la conversion et là aussi aucun problème.

Il y a juste un léger bug au niveau de la date car il me semble que vous initialisez les dates avec '0000-00-00'.
Une date non renseignée c'est NULL qu'il faut mettre. Pourquoi je dis cela ? J'ai fait mes tests avec php 7.0.9.
Quand je suis passé à php 5.6.24, le problème a été résolu.

Je vous indiquerai comment j'ai fait cette conversion dans le message d'après (à cause d'un manque de place).

Envoyé par gelinp

Je viens donc de repositionner my.cnf avec latin1 comme vous l'avez indiqué.

J'en déduis que vous travaillez qu'avec du français et de l'anglais. C'est mieux ainsi !

Envoyé par gelinp

Toutefois je ne comprends pas le groupe [wampmysqld] car dans mon fichier my.cnf il n'existe pas, j'ai seulement un groupe [mysqld].

C'est normal ! Je travaille sous windows 10 Pro et j'utilise WampServer ! Chez vous, sous linux, c'est bien "[mysqld]".

Envoyé par gelinp

J'ai donc j'ai positionné le choix des charset latin1 du serveur dans [mysqld] et aussi dans [wampmysqld] que j'ai ajouté...

Que ce soit "[mysqld]" ou "[wampmysqld]", ce sont des sections qui se refèrent à des services.
Comme votre service se nomme "mysqld" sous linux, il est inutile de faire aussi une section avec le service "wampmysql" qui n'existe pas chez vous.

Envoyé par gelinp

Après reboot de mysql (et apache) je me suis aperçu que phpmyadmin n'avait pas pris la modification....

Je constate que d'après votre image la modification a bien été prise.
Si vous parlez de "character system set", c'est normal, on ne peut pas le changer.
Pour les sessions, j'ai le même problème et ce n'est pas grave. Ce qui compte, ce sont les variables globales.

Envoyé par gelinp

page d'accueil de phpmyadmin qui indique encore l'usage de utf8 malgré la modification de my.cnf et des variables dans phpmyadmin :

Attention de ne pas confondre phpmyadmin et mysql. Ce que vous indiquez ici, c'est le paramétrage de phpmyadmin.

Vous devez mettre ce qui est après, dans le fichier "config.inc.php.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
/*----------------*/
/*     Langue     */
/*----------------*/
 
$cfg['DefaultLang']					= 'fr';
$cfg['DefaultConnectionCollation']	= 'latin1_general_ci';

@+

**Artemus24** · 21/08/2016, 16h48

Salut gelinp.

Après l'installation, j'ai procédé à la conversion comme dans l'exemple que je vous ai donné.
Vu le nombre de tables que vous avez, je ne l'ai pas fait à la main, mais j'ai créé une procédure stockée que j'ai mis dans une base de données de travail.
Histoire de ne pas venir polluer votre base de données avec un utilitaire.

A quoi sert cet utilitaire ?
Au lien de le tapez à la main, j'ai préféré que la mise en forme soit faite automatiquement. Il y a donc :

1) un "use" sur la base de données.
2) le changement du charset et du collation de la base de données.
3) le changement pour chaque table et donc la conversion.

Voici la procédure stockée que j'ai utilisé :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
-- =================
-- Procédure stockée
-- =================
 
use base;
 
DROP PROCEDURE IF EXISTS `convert`;
 
DELIMITER $$
CREATE PROCEDURE `convert`
(
  in_database  varchar(255)
)
DETERMINISTIC
NO SQL
BEGIN
  DECLARE _chaine  VARCHAR(65535) DEFAULT '';
  DECLARE _name    VARCHAR(255)   DEFAULT '';
  DECLARE _fin     INTEGER        DEFAULT 1;
 
  DECLARE _tab     CURSOR FOR SELECT table_name from information_schema.tables where table_schema = in_database;
 
  DECLARE CONTINUE HANDLER FOR NOT FOUND SET _fin = 0;
 
-- -------------------
-- Conversion Database
-- -------------------
 
  SET _chaine = concat("use ", in_database, ";\n\n");
  SET _chaine = concat(_chaine, "alter database `", in_database, "` DEFAULT CHARACTER SET `latin1`DEFAULT COLLATE `latin1_general_ci`;\n\n");
 
-- -----------------
-- Conversion tables
-- -----------------
 
  OPEN  _tab;
  FETCH _tab INTO _name;
 
  WHILE (_fin)
  DO
	set _chaine = concat(_chaine , "alter table ", right(concat(space(35), '`', _name), 35), "` convert to character set `latin1` collate `latin1_general_ci`;\n");
 
    FETCH _tab INTO _name;
  END WHILE;
 
  CLOSE _tab;
 
  SET @val = _chaine;
END$$
DELIMITER ;
 
-- =========
-- Exécution
-- =========
 
call `convert` ('bibli');
 
select @val as '';
 
exit

C'est un script que je te donne et non son execution comme j'ai l'habitude de faire.

Comment l'utiliser ?
En fait, il faut faire une bidouille qui prend deux secondes (enfin presque).

1) tu l'exécutes.
Je travaille en ligne de commandes et j'utilise donc le batch windows.
J'ai la console windows qui s'ouvre et je fait un clic sur l'écran afin de récupérer le résultat.
Je fais "sélectionner tout" sur l'écran.

2) dans un fichier de type ".sql", je replace la selection afin de pouvoir la modifier.
Je supprime tout ce qui ne sert à rien, en gardant le strict nécessaire, c'est-à-dire ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
use bibli;
 
alter database `bibli` DEFAULT CHARACTER SET `latin1`DEFAULT COLLATE `latin1_general_ci`;
 
alter table                  `abo_liste_lecture` convert to character set `latin1` collate `latin1_general_ci`;
alter table                          `abts_abts` convert to character set `latin1` collate `latin1_general_ci`;
...
alter table                          `z_notices` convert to character set `latin1` collate `latin1_general_ci`;
alter table                            `z_query` convert to character set `latin1` collate `latin1_general_ci`;
 
exit

Afin de rendre le résultat lisible, j'ai fait un cadrage sur la droite du nom de la table.
Il y a au total 302 tables (si je ne me suis pas trompé dans le calcul).

3) et maintenant, je lance l'exécution de ce nouveau script.
C'est ça qui va faire la conversion de tes chaînes de caractères dans le charset que tu as choisi.

4) j'ai mis plus de temps à créer le script qu'à l'exécuter, c'est-à-dire faire la conversion.

Comment vérifier le résultat ?

J'ai fait ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
--------------
show create table `arch_emplacement`
--------------
 
+------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table            | Create Table                                                                                                                                                                                                                                                                  |
+------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| arch_emplacement | CREATE TABLE `arch_emplacement` (
  `archempla_id` int(8) unsigned NOT NULL AUTO_INCREMENT,
  `archempla_libelle` varchar(255) COLLATE latin1_general_ci NOT NULL DEFAULT '',
  PRIMARY KEY (`archempla_id`)
) ENGINE=MyISAM DEFAULT CHARSET=latin1 COLLATE=latin1_general_ci |
+------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
--------------
show create table `author_custom_lists`
--------------
 
+---------------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table               | Create Table                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         |
+---------------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| author_custom_lists | CREATE TABLE `author_custom_lists` (
  `author_custom_champ` int(10) unsigned NOT NULL DEFAULT '0',
  `author_custom_list_value` varchar(255) COLLATE latin1_general_ci DEFAULT NULL,
  `author_custom_list_lib` varchar(255) COLLATE latin1_general_ci DEFAULT NULL,
  `ordre` int(11) DEFAULT NULL,
  KEY `editorial_custom_champ` (`author_custom_champ`),
  KEY `editorial_champ_list_value` (`author_custom_champ`,`author_custom_list_value`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1 COLLATE=latin1_general_ci |
+---------------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
 
Appuyez sur une touche pour continuer...

Pour la table "arch_emplacement", elle est bien en "latin1_general_ci". Elle était avant en "latin1_swedish_ci".
Pour la table "author_custom_lists", elle est bien en "latin1_general_ci". Elle était avant en "utf8_unicode_ci".

Et cela :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
--------------
select schema_name,
       default_character_set_name,
       default_collation_name
from   information_schema.schemata
where  schema_name = 'bibli'
--------------
 
+-------------+----------------------------+------------------------+
| schema_name | default_character_set_name | default_collation_name |
+-------------+----------------------------+------------------------+
| bibli       | latin1                     | latin1_general_ci      |
+-------------+----------------------------+------------------------+
--------------
select   character_set_name,
         collation_name
from     information_schema.columns
where    table_schema = 'bibli'
  and    character_set_name is not null
group by character_set_name, collation_name
--------------
 
+--------------------+-------------------+
| character_set_name | collation_name    |
+--------------------+-------------------+
| latin1             | latin1_general_ci |
+--------------------+-------------------+
 
Appuyez sur une touche pour continuer...

Cette fois-ci tout est en "latin1_general_ci".

@+

**gelinp** · 21/08/2016, 18h14

Encore un grand merci ! J'ai suivi ton protocole avec la procédure interne et cela semble avoir très bien fonctionné. Je viens de tester mon interface PMB et presque tout fonctionne bien... Maintenant phpmyadmin utilise bien des connexions latin1.

Il me reste donc un problème de charset sur la catalogue documentaire de PMB. En effet la page ci-dessous montre des caractères ISO de la base affichés en UTF8 ("�").

Nom : capture@pmb.png
Affichages : 3985
Taille : 110,3 Ko

Nom : capture@pmb.png
Affichages : 3985
Taille : 110,3 Ko

Le code source de la page (ci-dessous) montre un charset utf8 pour la page. J'ai chargé dans le paramétrage de PMB la variable à modifier mais je ne l'ai pas encore trouvé. Cela ne devrait pas tarder...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.1//EN"
    "http://www.w3.org/TR/xhtml11/DTD/xhtml11.dtd">
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="fr" charset='iso-8859-1'>
<head>
	<meta http-equiv="content-type" content="text/html; charset=iso-8859-1" />
	<meta name="author" content="PMB Group" />
 
	<meta name="keywords" content="OPAC, web, library, opensource, catalog, catalogue, biblioth�que, m�diath�que, pmb, phpmybibli" />
	<meta name="description" content="Catalogue en ligne Bib'Doc." /> [...]

Encore mille fois merci pour votre grande disponibilité et votre aide d'un très bon niveau technique. Je mémoriserai bien votre procédure interne car cela risque de recommencer...

Encore merci et bravo pour votre aide !
Patrick

**Artemus24** · 21/08/2016, 18h32

Salut gelinp.

Ce symbole (le losange noir avec un ? au milieu) indique que le jeu de caractères est de l'ISO-8859-1 et que vous l'interprétez comme de l'UTF8.

Envoyé par gelinp

Il me reste donc un problème de charset sur la catalogue documentaire de PMB.

D'où provient le problème des accents ? Je suppose que cela vient de la base de données.

Il faut alors préciser le charset au moment de la connexion.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
$nom_du_serveur  = "mysql:host=localhost;dbname=test";
$nom_utilisateur = "test";
$mot_de_passe    = "test";

$options         = array(
	PDO::MYSQL_ATTR_INIT_COMMAND => "SET NAMES latin1",
	PDO::ATTR_CASE               => PDO::CASE_LOWER,
	PDO::ATTR_ERRMODE            => PDO::ERRMODE_EXCEPTION
);

J'ai précisé le "set names latin1" (en rouge ci-dessus) pour indiquer que c'est ce charset que j'utilise dans ma base de données.

@+

Modification du codage d'une base vers utf8

Administration MySQL

Vue hybride

Discussions similaires

Partager

Partager