Discussion :

[chlock62]

Bonjour,

Lors de l'import de mon fichier sql dans ma base de données pour l'insertion de donnée l'import ne montre pas d'avancement au niveau des insertions et cela peut durer plusieurs heures.

Mon fichier a une taille inférieur a 2GO

Voici une capture de l'import des données en ligne de commande


Merci d'avance pour vos réponses

[Artemus24]

Salut chlock62.

Pourquoi avez-vous perdu la connexion ?
La réponse est facile à comprendre, le temps de chargement de votre fichier est trop long.

Comment y remédier ?
En modifiant les paramètres dans le fichier "my.ini" pour les augmenter.

Et je fais cela comment ?
Ainsi :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
# ------------------------------#
#     Timeout Configuration     #
# ------------------------------#
 
connect-timeout     = 600
interactive-timeout = 600
wait-timeout        = 600

600 correspond à 60 secondes x 10 soit 10 minutes.

Après les modifications, n'oubliez pas de relancer le serveur mysql (ou wamp).

@+

[chlock62]

Bonjour,

Merci pour votre réponse

Ou ce trouve le fichier "my.ini"?

Car le fichier "my.ini" du repertoire mysql de wamp ne contient aucune de ces variables.

Merci

[Artemus24]

Salut chlock62.

Si vous avez le minimum dans le fichier my.ini, il est normal que ce paramétrage n'apparaisse pas.
A vous de l'insérer dedans dans la section "[wampmysqld]".

@+

[chlock62]

merci pour cette dernière réponse mais cela ne fonctionne pas après avoir ajouter les trois paramètres.

J'ai toujours le blocage figurant sur l'image précédente

merci

[Artemus24]

Il s'agit bien d'un problème de timeout.

Ajoutez ceci aussi :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
net-read-timeout    = 600
net-write-timeout   = 600

Avez-vous bien redémarrez votre wampserver après ces modifications ?

Est-ce bien dans le fichier my.ini, de la section consacré à la version 64 bits que vous utilisez ?

@+

[chlock62]

Oui je suis bien dans le fichier "my.ini"

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
; The MySQL server
[wampmysqld64]
;skip-grant-tables
default_authentication_plugin=mysql_native_password
port = 3306
socket = /tmp/mysql.sock
key_buffer_size = 256M
max_allowed_packet = 500M
connect-timeout     = 600
interactive-timeout = 600
wait-timeout        = 600
net-read-timeout    = 600
net-write-timeout   = 600

Cela ne fonctionne toujours pas!!!

Pour information mon fichier mesure 1,4go

Merci de votre aide

[Artemus24]

Salut chlock62.

Avez-vous compris que 600 correspond à 10 minutes.
Au delà, le serveur mysql se met en "MySQL server has gone away".

Il serait intéressant de pousser, peut-être à 1 heures (=3600).
Et pourquoi pas, mettre 24 heures (=86400), voire encore plus.

Pour information mon fichier mesure 1,4 go

Oui, mais cela ne me parle pas du tout.

Le temps du chargement dépend aussi de la rapidité de votre processeur, mais aussi de ce que vous faites durant cet import.
Il est possible que la mise à jour des index peut-être en cause dans la lenteur du chargement de votre base de données.

@+

[chlock62]

Bonjour Artemus24

Oui je suis au courant que les chiffres sont évaluer en temps/minute

J'ai toujours le blocage meme en ayant mis 1 heure (3600)


merci

[Artemus24]

Salut chlock62.

Au bout de combien de temps avez-vous eu, à nouveau, ce blocage ? Après une heure d'attente ? Ou plus ?
Sinon, augmentez encore le timeout. Passez le à 24 heures, voire plus.

2 GO, cela peut prendre beaucoup de temps.

@+

[chlock62]

le blocage survient directement donc estimé en quelque seconde

[Artemus24]

Salut chlock62.

Normalement les erreurs "lost connection to Mysql server during query", ainsi que "mysql server has gone away" signifient que votre requête à oris trop de temps pour s'exécuter.
De ce fait, vous êtes allés au delà du temps qui vous a été alloué.
D'où ma réponse concernant les paramètres du TimeOut dans le fichier "My.ini".

Maintenant, si cela survient au bout de quelques secondes, c'est un autre problème.
Il faut voir dans le fichier sql ce que vous chargez et comment cela se fait.

l'import ne montre pas d'avancement au niveau des insertions et cela peut durer plusieurs heures.

Pourtant vous disiez bien que cela pouvait durer des heures.

Vous m'avez communiqué votre fichier my.ini, mais il me semble incomplet.
A tout hasard, je vous communique le mien pour la version mysql 5.7.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
# *********************** #
#                         #
#     Sphere "Fraise"     #
#                         #
# *********************** #
 
# ==================== #
#     MySql Client     #
# ==================== #
 
[client]
port   = 3306
socket = mysql
 
# ----------------------- #
#     access features     #
# ----------------------- #
 
user     = root
password = root
host     = 127.0.0.1
 
# --------------- #
#     Charset     #
# --------------- #
 
# default-character-set = latin1
 
 
# ==================== #
#     MySql Server     #
# ==================== #
 
[mysqld]
port   = 3306
socket = mysql
 
# -------------- #
#     Master     #
# -------------- #
 
server-id = 1
skip-slave-start
 
# --------------- #
#     Charset     #
# --------------- #
 
character-set-server     = latin1
collation-server         = latin1_general_ci
character-set-filesystem = latin1
 
init-connect             = 'SET collation_connection = latin1_general_ci; SET NAMES latin1 COLLATE latin1_general_ci'
 
# ------------------- #
#     Date & Time     #
# ------------------- #
 
default-time-zone = SYSTEM
 
explicit-defaults-for-timestamp = on
 
# ------------------- #
#     Directories     #
# ------------------- #
 
basedir = f:/Wamp/bin/mysql/mysql5.7.23/
datadir = f:/Wamp/bin/mysql/mysql5.7.23/data
tmpdir  = f:/Wamp/tmp
 
# -------------------------#
#     Full Text Search     #
# -------------------------#
 
ft-max-word-len  = 10
ft-min-word-len  = 1
ft-stopword-file = ""
 
# ---------------#
#     InnoDB     #
# ---------------#
 
default-storage-engine              = InnoDB
default-tmp-storage-engine          = InnoDB
 
innodb-adaptive-hash-index          = on
 
innodb-buffer-pool-dump-now         = off
innodb-buffer-pool-dump-at-shutdown = off
innodb-buffer-pool-instances        = 2
innodb-buffer-pool-load-at-startup  = OFF
innodb-buffer-pool-size             = 128M
 
innodb-data-file-path               = ibdata1:12M:autoextend
innodb-data-home-dir                = f:/Wamp/bin/mysql/mysql5.7.23/data/
innodb-default-row-format           = compact
innodb-doublewrite                  = 1
#skip-innodb_doublewrite
 
innodb-file-format-check            = on
innodb-file-per-table               = 1
 
innodb-flush-log-at-trx-commit      = 1
innodb-flush-method                 = normal
#innodb-force-recovery               = 1
 
innodb-ft-enable-stopword           = off
innodb-ft-max-token-size            = 10
innodb-ft-min-token-size            = 0
 
innodb-io-capacity                  = 2000
innodb-lock-wait-timeout            = 600
 
innodb-log-buffer-size              = 16M
innodb-log-file-size                = 20M
innodb-log-files-in-group           = 2
innodb-log-group-home-dir           = f:/Wamp/bin/mysql/mysql5.7.23/data/
 
innodb-max-dirty-pages-pct          = 90
innodb-optimize-fulltext-only       = 1
innodb-page-size                    = 16K
innodb-purge-threads                = 10
innodb-read-io-threads              = 4
innodb-stats-on-metadata            = 0
# innodb-strict-mode                  = OFF
innodb-support-xa                   = 1
innodb-thread-concurrency           = 16
innodb-undo-log-truncate            = 1
innodb-write-io-threads             = 4
 
# ---------------- #
#     Language     #
# ---------------- #
 
lc-messages   = fr_FR
lc-time-names = fr_FR
 
# -------------------#
#     Binary Log     #
# -------------------#
 
#log-bin              = f:/Wamp/logs/mysql_binary_log
#binlog-cache-size    = 1M
#binlog-format        = mixed
 
# --------------------#
#     General Log     #
# --------------------#
 
#general-log         = 1
#general-log-file    = f:/Wamp/logs/mysql_general.log
#log_output          = 'FILE';
 
# ------------#
#     Log     #
# ------------#
 
log-error                              = f:/Wamp/logs/mysql_error.log
log-error-verbosity                    = 3
 
log-queries-not-using-indexes          = 1
log-slow-admin-statements              = 1
log-throttle-queries-not-using-indexes = 60
 
# ------------#
#     Max     #
# ------------#
 
max-allowed-packet     = 16M
max-connections        = 20
max-connect-errors     = 10
max-error-count        = 64
max-heap-table-size    = 1G
max-user-connections   = 0
max-sp-recursion-depth = 255
 
# --------------------#
#     Buffer-Size     #
# --------------------#
 
join-buffer-size      = 512M
read-buffer-size      = 512M
read-rnd-buffer-size  = 512M
sort-buffer-size      = 512M
 
# ---------------#
#     MyIsam     #
# ---------------#
 
bulk-insert-buffer-size   = 64M
 
key-buffer-size           = 2G
 
myisam-max-sort-file-size = 1G
myisam-recover-options    = 1
myisam-repair-threads     = 1
myisam-sort-buffer-size   = 128M
myisam-stats-method       = nulls_unequal
myisam-use-mmap           = OFF
 
# -------------------#
#     Networking     #
# -------------------#
 
back-log           = 50
 
bind-address       = 0.0.0.0
 
net-buffer-length  = 8K
 
# -----------------#
#     Password     #
# -----------------#
 
default-password-lifetime      = 0
disconnect-on-expired-password = 0
 
# ---------------------------#
#     Performance-Schema     #
# ---------------------------#
 
# performance-schema                                = ON
# performance-schema-events-waits-history-size      = 20
# performance-schema-events-waits-history-long-size = 1500
 
# ----------------#
#     Pluggin     #
# ----------------#
 
early-plugin-load =
# early-plugin-load = keyring_file.dll
 
# --------------#
#     Query     #
# --------------#
 
query-alloc-block-size       = 8M
query-cache-limit            = 1G
query-cache-min-res-unit     = 4096
query-cache-size             = 512M
query-cache-type             = On
query-cache-wlock-invalidate = Off
 
# -------------#
#     Skip     #
# -------------#
 
disable-partition-engine-check
 
#skip-innodb-doublewrite
 
skip-external-locking
skip-federated
 
#skip-grant-tables
#skip-log-warnings
skip-slave-start
# skip-innodb-adaptive-hash-index
 
# --------------------#
#     Long & Slow     #
# --------------------#
 
long-query-time      = 0
 
slow-query-log       = 1
slow-query-log-file  = f:/Wamp/logs/mysql_slow.log
 
# ------------#
#     Ssl     #
# ------------#
 
skip-ssl
 
# --------------#
#     Table     #
# --------------#
 
table-definition-cache = 512
table-open-cache       = 512
 
# -------------------#
#     Temp Table     #
# -------------------#
 
tmp-table-size = 1G
 
# ---------------#
#     Thread     #
# ---------------#
 
thread-cache-size = 8
thread-stack      = 256K
 
# ------------------------------#
#     Timeout Configuration     #
# ------------------------------#
 
connect-timeout     = 600
interactive-timeout = 600
net-read-timeout    = 600
net-write-timeout   = 600
wait-timeout        = 600
 
# --------------------#
#     Transaction     #
# --------------------#
 
transaction-isolation = SERIALIZABLE
 
# ---------------#
#     Tuning     #
# ---------------#
 
concurrent-insert = 2
open-files-limit  = 8192
 
# secure-file-priv  = f:/wamp/tmp
secure-file-priv  =
 
 
# =================== #
#     MySql Admin     #
# =================== #
 
[mysqldadmin]
force
 
 
# ================== #
#     MySql Dump     #
# ================== #
 
[mysqldump]
add-drop-database
add-drop-table
add-drop-trigger
 
default-character-set = utf8
 
flush-logs
flush-privileges
 
lock-all-tables
max-allowed-packet    = 16M
no-autocommit
order-by-primary
quick
routines
 
skip-comments
skip-opt
skip-set-charset
skip-tz-utc
 
triggers
 
 
# ===================== #
#     My Isam Check     #
# ===================== #
 
[myisamchk]
key-buffer-size  = 128M
sort-buffer-size = 128M
read-buffer      = 2M
write-buffer     = 2M
 
 
# ====================== #
#     MySql Hot Copy     #
# ====================== #
 
[mysqlhotcopy]
interactive-timeout
 
 
# ===================== #
#     MySql Monitor     #
# ===================== #
 
[mysql]
default-character-set = latin1
no-auto-rehash
#safe-updates
skip-reconnect
table
 
 
# ================== #
#     MySql Safe     #
# ================== #
 
[mysqld_safe]
open-files-limit = 8192
 
log-error        = f:/Wamp/logs/mysql_error.log

A vous de voir comment l'adapté à votre environnement.
Entre autre, j'utilise wampserver dans le répertoire "f:/wamp".
Bien que cela ne se voit pas ici, j'utilise aussi la version 64 bits

@+