Réplication Mariadb 10.3.27

Version imprimable

Bonjour à tous

J'ai mis en place une réplication entre plusieurs serveurs et donc réparti mes différentes bases.
J'ai donc un master avec base1, base2 et base3.

Sur le premier slave, j'ai base1 et base2. La réplication fonctionne très bien.
Sur le second slave, j'ai donc mis base3. Et là, j'ai l'erreur suivante :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
MariaDB [(none)]> show slave status\G;
*************************** 1. row ***************************
                Slave_IO_State: Waiting for master to send event
                   Master_Host: 192.168.0.23
                   Master_User: replica
                   Master_Port: 3306
                 Connect_Retry: 10
               Master_Log_File: mysql-bin.000310
           Read_Master_Log_Pos: 1044134311
                Relay_Log_File: mysqld-relay-bin.000002
                 Relay_Log_Pos: 3511885
         Relay_Master_Log_File: mysql-bin.000310
              Slave_IO_Running: Yes
             Slave_SQL_Running: No
               Replicate_Do_DB:
           Replicate_Ignore_DB: base1,base2
            Replicate_Do_Table:
        Replicate_Ignore_Table:
       Replicate_Wild_Do_Table:
   Replicate_Wild_Ignore_Table:
                    Last_Errno: 1032
                    Last_Error: Could not execute Update_rows event on table base3.testor; Can't find record in 'testor', Error_code: 1032; handler error HA_ERR_KEY_NOT_FOUND; the event's master log mysql-bin.000310, end_log_pos 786074660
                  Skip_Counter: 1000000
           Exec_Master_Log_Pos: 786074133
               Relay_Log_Space: 240784999
               Until_Condition: None
                Until_Log_File:
                 Until_Log_Pos: 0
            Master_SSL_Allowed: No
            Master_SSL_CA_File:
            Master_SSL_CA_Path:
               Master_SSL_Cert:
             Master_SSL_Cipher:
                Master_SSL_Key:
         Seconds_Behind_Master: NULL
 Master_SSL_Verify_Server_Cert: No
                 Last_IO_Errno: 0
                 Last_IO_Error:
                Last_SQL_Errno: 1032
                Last_SQL_Error: Could not execute Update_rows event on table base3.testor; Can't find record in 'testor', Error_code: 1032; handler error HA_ERR_KEY_NOT_FOUND; the event's master log mysql-bin.000310, end_log_pos 786074660
   Replicate_Ignore_Server_Ids:
              Master_Server_Id: 1
                Master_SSL_Crl:
            Master_SSL_Crlpath:
                    Using_Gtid: No
                   Gtid_IO_Pos:
       Replicate_Do_Domain_Ids:
   Replicate_Ignore_Domain_Ids:
                 Parallel_Mode: optimistic
                     SQL_Delay: 0
           SQL_Remaining_Delay: NULL
       Slave_SQL_Running_State:
              Slave_DDL_Groups: 0
Slave_Non_Transactional_Groups: 0
    Slave_Transactional_Groups: 0
1 row in set (0.000 sec)
 
ERROR: No query specified
 
MariaDB [(none)]>

J'ai passé moults fois les commandes : stop slave; set global sql_slave_skip_counter=1; start slave; mais sans réussite.

Le dump que j'ai utilisé pour base3 est de ce matin, comme celui de base1 et base2 que j'ai importé.
J'ai lu qu'il devait y avoir une désynchronisation, mais ca n'expliquerait pas pourquoi base2 qui fait presque la même taille que base3 passe sans souci.

Dans mon fichier /etc/mysql/my.cnf, j'ai les options suivantes :

Code:

1
2
3
4
5
6
7
8
9
10
11
[mysqld]
server-id              = 2
log_bin                = /var/log/mysql/mysql-bin.log
skip-log-bin
expire_logs_days        = 4
max_binlog_size        = 100M
#binlog_do_db           = base3
binlog_ignore_db       = base1
binlog_ignore_db       = base2
slave_parallel_threads=2
slave_parallel_mode=optimistic

(j'avais avant modif les options

Code:

1
2
replicate_ignore_db=base1
replicate_ignore_db=base2

)

=> quelle est la différence d'ailleurs entre binlog_do_db et replicate_do_db ? Sachant que côté master, j'ai l'option binlog_do_db.

J'ai en plus une centaine de fichier de type mysqld-relay-bin.000***. est-ce dû aux multiples set global sql_slave_skip_counter=1 que j'ai lancé (en mode bourrin via une boucle...)

Je suis vraiment bloqué sur cette base et là, je ne comprends plus rien.

Si quelqu'un a une idée, je suis preneur.

Merci d'avance

20/05/2021, 13h14
dari68

Bonjour,

Quelle est la commande lancée sur le 2ème slave ...?

A+
20/05/2021, 13h18
erwann56

Bonjour
Qu'entends tu par commande ?
Il s'agit juste d'une réplication avec des INSERT et UPDATE comme sur le premier slave.

Ah Ok j'ai pensé à une archi MASTER => SLAVE

Code:

1
2
3
4
5
6
7
CHANGE MASTER TO
MASTER_HOST='serveur_master.tld',
MASTER_USER='repl',
MASTER_PASSWORD='passwd',
MASTER_LOG_FILE='mysql-bin.xxxxxxx',
MASTER_LOG_POS=xxx;
start slave;

A+

20/05/2021, 13h29
erwann56

J'ai bien appliqué ce "CHANGE MASTER" etc sur les deux slaves. Même user replica, même mot de passe. Deux bases sur le premier, une seule sur le second.

Pour le premier , c'est nickel. Mais pas pour le second.

Je tourne en rond .... :(
20/05/2021, 14h33
dari68

T as bien renseigné MASTER_LOG_POS ? lors de la réinitialisation de second slave ?

A+
20/05/2021, 16h36
erwann56

Oui.

J'ai réinitialisé la base ( rm /var/lib/mysql et mysql intall db)

Et à nouveau le même souci ...

Bonjour,

J'aurai restauré la base sur le slave en question puis refaire:
Code:

1 2 3 4 5 6 7 CHANGE MASTER TO MASTER_HOST='serveur_master.tld', MASTER_USER='repl', MASTER_PASSWORD='passwd', MASTER_LOG_FILE='mysql-bin.xxxxxxx', MASTER_LOG_POS=xxx; start slave;
Avec la valeur à jour de MASTER_LOG_POS=xxx

A+

21/05/2021, 15h51
erwann56

Fait aussi. Mais rien.

Je pense que mon explication est encore plus bête que tout ca finalement... Mon serveur master est en mysql5.7 .. Mes slaves en mariadb10.3.27.

En fait, c'est idiot .. Même si les db sont différentes, ca marche quand même pour le premier slave.

Et chose curieuse, le master pos du slave2 est à jour comme sur le slave1
21/05/2021, 17h15
dari68

Master => Slave couvre toute l'instance: mises à jours des tables (bases existantes) et création de nouvelles bases est aussi propagée sur le slave ...

A+
21/05/2021, 19h32
erwann56

Oui. Mais pourquoi cette erreur ? Alors que sur l'autre tout fonctionne...

Merci en tout cas pour ton temps...

Je pense que je vais devoir contacter un prestataire sur le sujet.
22/05/2021, 11h00
Artemus24

Salut à tous.

Dans toutes vos explications, je ne vois aucune référence à l'utilisateur faisant la réplication.
Je parle de ceci :

Code:

GRANT REPLICATION SLAVE ON *.* TO 'repuser'@'192.168.0.22' IDENTIFIED BY 'motdepasse';

N'auriez-vous pas oublié de déclarer le deuxième esclave ?

@+
22/05/2021, 13h50
erwann56

Bonjour,

Non, j'ai bien fais les mêmes commandes en parallèle sur les deux serveurs. Même user, même mot de passe. Server id 1,2 et 3.

Le truc étrange c'est que le serveur 3, celui qui merdoie, suit bien le log pos du master.
22/05/2021, 14h22
Artemus24

Salut erwann56 .

D'après ce que je comprends, votre synopsis est le suivant :
--> base 1 du master ==> base 1 du slave 1.
--> base 2 du master ==> base 2 du slave 1.
--> base 3 du master ==> base 3 du slave 2.

Code:

Could not execute Update_rows event on table base3.testor; Can't find record in 'testor', Error_code: 1032; handler error HA_ERR_KEY_NOT_FOUND; the event's master log mysql-bin.000310, end_log_pos 786074660

L'erreur 1032 indique qu'il s'agit d'une opération faite sur le master et non reproduite sur le slave. Deux cas peuvent se produire :

a) la ligne en question n'existe pas dans le slave. Origine : vous avez une désynchronisation.
Il semble que l'erreur soit bien "HA_ERR_KEY_NOT_FOUND", la clef n'existe pas.
Avez-vous vérifié que votre base 3 dans le serveur slave 2 est bien synchronisé ?

b) le serveur slave est à l'arrêt. Etes-vous certain que le serveur slave2 fonctionne correctement ?

J'aimerai voir les déclaratives (fichier my.ini ou my.cnf) du master et des slaves.

Citation:

Envoyé par erwann56

J'ai en plus une centaine de fichier de type mysqld-relay-bin.000***.

Il faudrait songer à créer un point de reprise, non ?
Faites une sauvegarde de vos bases de données, puis repartez proprement sur ce point de reprise.
Il est inutile d'avoir autant de fichiers de rotation.

L'important est d'avoir la bonne synchronisation entre vos bases de données master et slaves.

@+

Bonjour Artemus24,

Citation:

Envoyé par Artemus24

Salut erwann56 .

D'après ce que je comprends, votre synopsis est le suivant :
--> base 1 du master ==> base 1 du slave 1.
--> base 2 du master ==> base 2 du slave 1.
--> base 3 du master ==> base 3 du slave 2.

=>> Oui, c'est bien ca.

Citation:

Envoyé par Artemus24

Code:

Could not execute Update_rows event on table base3.testor; Can't find record in 'testor', Error_code: 1032; handler error HA_ERR_KEY_NOT_FOUND; the event's master log mysql-bin.000310, end_log_pos 786074660

L'erreur 1032 indique qu'il s'agit d'une opération faite sur le master et non reproduite sur le slave. Deux cas peuvent se produire :

a) la ligne en question n'existe pas dans le slave. Origine : vous avez une désynchronisation.
Il semble que l'erreur soit bien "HA_ERR_KEY_NOT_FOUND", la clef n'existe pas.

=>> J'ai tenté de trouver sur le master via un mysqlbinlog mais je n'ai pas trouvé. Je ne suis pas expert mysql ....

Citation:

Envoyé par Artemus24

Avez-vous vérifié que votre base 3 dans le serveur slave 2 est bien synchronisé ?

=>> J'importe le dump du matin de base3 sur slave2. Les dumps de base1 et base2 sont correctement importés sur slave1. Ce dernier suit totalement le master.

Citation:

Envoyé par Artemus24

b) le serveur slave est à l'arrêt. Etes-vous certain que le serveur slave2 fonctionne correctement ?

=>> Oui, start slave et un show slave status montre qu'il suit le master.
Citation:
Envoyé par Artemus24
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 Slave_IO_State: Waiting for master to send event Master_Host: 192.168.0.23 Master_User: replica Master_Port: 3306 Connect_Retry: 10 Master_Log_File: mysql-bin.000327 Read_Master_Log_Pos: 989150095 Relay_Log_File: mysqld-relay-bin.000073 Relay_Log_Pos: 71191403 Relay_Master_Log_File: mysql-bin.000327 Slave_IO_Running: Yes Slave_SQL_Running: No Replicate_Do_DB: base3 Replicate_Ignore_DB: base1,base2 Replicate_Do_Table: Replicate_Ignore_Table: Replicate_Wild_Do_Table: Replicate_Wild_Ignore_Table: Last_Errno: 0 Last_Error: Skip_Counter: 0 Exec_Master_Log_Pos: 989150095 Relay_Log_Space: 176049152
J'aimerai voir les déclaratives (fichier my.ini ou my.cnf) du master et des slaves.
Serveur master (mysql5.7.31)
Code:

1 2 3 4 5 6 7 8 9 10 11 !includedir /etc/mysql/conf.d/ !includedir /etc/mysql/mysql.conf.d/ [mysqld] server-id=1 binlog-do-db=base1 binlog-do-db=base2 binlog-do-db=base3 log_bin = /var/log/mysql/mysql-bin.log datadir=/var/lib/mysql sync_binlog=1
Serveur slave1 qui fonctionne (mariadb10.3.27)
Code:

1 2 3 4 5 6 7 8 9 10 11 [mysqld] server-id = 3 log_bin = /var/log/mysql/mysql-bin.log expire_logs_days = 4 binlog_checksum =0 max_binlog_size = 100M binlog_do_db = base1 binlog_ignore_db = base2 binlog_ignore_db = base3 slave_parallel_threads=2 slave_parallel_mode=optimistic
Serveur slave2 en erreur (mariadb10.3.27)
Code:

1 2 3 4 5 6 7 8 9 10 11 12 [mysqld] server-id = 2 log_bin = /var/log/mysql/mysql-bin.log expire_logs_days = 4 max_binlog_size = 100M binlog_do_db = base3 binlog_ignore_db = base1 binlog_ignore_db = base2 replicate_ignore_db=base1 replicate_ignore_db=base2 slave_parallel_threads=2 slave_parallel_mode=optimistic
Je viens de supprimer tout le /var/lib/mysql et je relance un import (celui de ce matin).

@+

22/05/2021, 17h49
Artemus24

Salut erwann56.

Avez-vous testé par un ping, si le serveur est accessible ?
Vous vous mettez sur le serveur master et vous testez slave 1 & slave 2.
Puis vous faites l'inverse, du serveur slave 1 & 2 vers le master.

@+
22/05/2021, 18h17
erwann56

Il n'y a aucun problème entre les serveurs. Le dump est importé via scp du master vers slave2. Un telnet du slave2 vers le master sur le 3306 fonctionne parfaitement.
Et le log pos du master correspond bien a celui indiqué par le slave2, donc celui-ci suit bien le master.
22/05/2021, 19h42
dari68

Hello,

Les variables: SERVER_ID sont bien déclarées ?

A+
22/05/2021, 20h54
erwann56

oui.

Un truc bizarre quand même .. Ma base est plus grosse sur slave2 après import du dump que sur le master. 65G contre 43.....

Bon, vous embêtez pas .. Je vais voir avec un prestataire externe.
28/10/2021, 13h13
valenciennes

Bonjour
Nous venons de nous apercevoir de la présence de nombreux fichiers du type mariadb-relay-bin.XXX avec XXX allant de 000001 à 000400 dans le répertoire mariadb (voir copie d'écran) de notre serveur maitre .
Nous utilisons la réplication avec 2 serveurs esclaves, tout fonctionne correctement, la réplication fonctionne, seul problème à chaque démarrage de mariadb sur le maitre on ajoute un fichier mariadb-relay-bin.XXXXXX ! dans le répertoire mariadb du maitre !
Aucun fichier mariadb-relay-bin.xxx n'a était supprimé depuis le début de la mise en réplication .

Avez vous eu une solution ?
Merci d'avance.