Configuration mysql cluster pour du gros volume

Bonjour,

J'ai récemment installé un cluster mysql sur deux serveurs. Jusque là pas de souci, mais au moment de basculer notre base de données sur le cluster, ça plante pour un souci d'espace de stockage semble t'il. J'ai donc jeté un oeil côté configuration pour augmenter les compteurs, suivi d'un redémarrage complet du cluster (noeud et tout) mais rien à faire ça plante toujours au même moment.

Les machines semblent assez grosses (16CPU et 12Go de ram), et la base ne fait que 6Go à tout casser, mais le plantage intervient dans l'import aux environs de 100Mo de données importées.

Quelqu'un aurait une piste sur un éventuel paramétrage que j'aurai loupé ?

config.ini

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27

[NDBD DEFAULT] NoOfReplicas=2 DataMemory=12288M IndexMemory=3072M NoOfFragmentLogFiles=200 UndoIndexBuffer=10M RedoBuffer=256M MaxNoOfConcurrentOperations=100000 TimeBetweenGlobalCheckpoints=1000 TimeBetweenLocalCheckpoints=3 MaxNoOfTables=4096 MaxNoOfAttributes=24756 MaxNoOfOrderedIndexes=2048 MaxNoOfUniqueHashIndexes=512 [MYSQLD DEFAULT] [NDB_MGMD DEFAULT] [TCP DEFAULT] [NDB_MGMD] HostName=xxx.xxx.xxx.xx1 [NDBD] HostName=xxx.xxx.xxx.xx1 DataDir= /var/lib/mysql-cluster [NDBD] HostName=xxx.xxx.xxx.xx2 DataDir=/var/lib/mysql-cluster [MYSQLD] [MYSQLD]

---

L'erreur que j'ai durant l'import :

Code:

---

ERROR 1114 (HY000) at line 406: The table 'tbl_log_live' is full

---

d'apres mes maigres connaissances le démon nddb n'est pas un moteur de stockage à proprement parler mais une surcouche sur un moteur.

je suppose que tu as déjà lu http://dev.mysql.com/doc/refman/5.0/en/full-table.html
alors que donne:

Code:

---

SHOW TABLE STATUS FROM @db_name LIKE 'tbl_log_live';

---

Ça donne ça

Code:

---

1 2	Name Engine Version Row_format Rows Avg_row_length Data_length Max_data_length Index_length Data_free Auto_increment Create_time Update_time Check_time Collation Checksum Create_options Comment tbl_log_live ndbcluster 10 Dynamic 254560 112 54755328 0 0 0 NULL NULL NULL NULL utf8_unicode_ci NULL

---

Sinon depuis le Management Client, avec un report sur le memory usage j'obtiens ceci :

Code:

---

1 2 3 4 5 6 7

ndb_mgm> 3 REPORT MEMORYUSAGE Node 3: Data usage is 92%(2371 32K pages of total 2560) Node 3: Index usage is 27%(641 8K pages of total 2336)   ndb_mgm> 2 REPORT MEMORYUSAGE Node 2: Data usage is 92%(2371 32K pages of total 2560) Node 2: Index usage is 27%(641 8K pages of total 2336)

---

J'ai beau changer mon paramétrage dans le config.ini, j'arrive pas a faire changer ces valeurs :(

Pour clôturer l'affaire, la solution fut de temporiser l'import. Trop d'opération dans un intervalle de temps trop réduit remplit le log trop vite. Il m'a suffit de couper le fichier sql en 2 pour faire 2 imports pour résoudre le souci.