Discussion :

[spin0us]

Bonjour,

J'ai récemment installé un cluster mysql sur deux serveurs. Jusque là pas de souci, mais au moment de basculer notre base de données sur le cluster, ça plante pour un souci d'espace de stockage semble t'il. J'ai donc jeté un oeil côté configuration pour augmenter les compteurs, suivi d'un redémarrage complet du cluster (noeud et tout) mais rien à faire ça plante toujours au même moment.

Les machines semblent assez grosses (16CPU et 12Go de ram), et la base ne fait que 6Go à tout casser, mais le plantage intervient dans l'import aux environs de 100Mo de données importées.

Quelqu'un aurait une piste sur un éventuel paramétrage que j'aurai loupé ?

config.ini

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
[NDBD DEFAULT]
NoOfReplicas=2
DataMemory=12288M
IndexMemory=3072M
NoOfFragmentLogFiles=200
UndoIndexBuffer=10M
RedoBuffer=256M
MaxNoOfConcurrentOperations=100000
TimeBetweenGlobalCheckpoints=1000
TimeBetweenLocalCheckpoints=3
MaxNoOfTables=4096
MaxNoOfAttributes=24756
MaxNoOfOrderedIndexes=2048
MaxNoOfUniqueHashIndexes=512
[MYSQLD DEFAULT]
[NDB_MGMD DEFAULT]
[TCP DEFAULT]
[NDB_MGMD]
HostName=xxx.xxx.xxx.xx1
[NDBD]
HostName=xxx.xxx.xxx.xx1
DataDir= /var/lib/mysql-cluster
[NDBD]
HostName=xxx.xxx.xxx.xx2
DataDir=/var/lib/mysql-cluster
[MYSQLD]
[MYSQLD]

L'erreur que j'ai durant l'import :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

ERROR 1114 (HY000) at line 406: The table 'tbl_log_live' is full

[gene69]

d'apres mes maigres connaissances le démon nddb n'est pas un moteur de stockage à proprement parler mais une surcouche sur un moteur.

je suppose que tu as déjà lu http://dev.mysql.com/doc/refman/5.0/en/full-table.html
alors que donne:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

SHOW TABLE STATUS FROM  @db_name LIKE 'tbl_log_live';

[spin0us]

Ça donne ça

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
Name 	Engine 	Version 	Row_format 	Rows 	Avg_row_length 	Data_length 	Max_data_length 	Index_length 	Data_free 	Auto_increment 	Create_time 	Update_time 	Check_time 	Collation 	Checksum 	Create_options 	Comment
tbl_log_live 	ndbcluster 	10 	Dynamic 	254560 	112 	54755328 	0 	0 	0 	NULL 	NULL 	NULL 	NULL 	utf8_unicode_ci 	NULL

Sinon depuis le Management Client, avec un report sur le memory usage j'obtiens ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
ndb_mgm> 3 REPORT MEMORYUSAGE
Node 3: Data usage is 92%(2371 32K pages of total 2560)
Node 3: Index usage is 27%(641 8K pages of total 2336)
 
ndb_mgm> 2 REPORT MEMORYUSAGE
Node 2: Data usage is 92%(2371 32K pages of total 2560)
Node 2: Index usage is 27%(641 8K pages of total 2336)

J'ai beau changer mon paramétrage dans le config.ini, j'arrive pas a faire changer ces valeurs

[spin0us]

Pour clôturer l'affaire, la solution fut de temporiser l'import. Trop d'opération dans un intervalle de temps trop réduit remplit le log trop vite. Il m'a suffit de couper le fichier sql en 2 pour faire 2 imports pour résoudre le souci.