Réplication Mariadb 10.3.27

**erwann56** · 19/05/2021, 19h23

Bonjour à tous

J'ai mis en place une réplication entre plusieurs serveurs et donc réparti mes différentes bases.
J'ai donc un master avec base1, base2 et base3.

Sur le premier slave, j'ai base1 et base2. La réplication fonctionne très bien.
Sur le second slave, j'ai donc mis base3. Et là, j'ai l'erreur suivante :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
MariaDB [(none)]> show slave status\G;
*************************** 1. row ***************************
                Slave_IO_State: Waiting for master to send event
                   Master_Host: 192.168.0.23
                   Master_User: replica
                   Master_Port: 3306
                 Connect_Retry: 10
               Master_Log_File: mysql-bin.000310
           Read_Master_Log_Pos: 1044134311
                Relay_Log_File: mysqld-relay-bin.000002
                 Relay_Log_Pos: 3511885
         Relay_Master_Log_File: mysql-bin.000310
              Slave_IO_Running: Yes
             Slave_SQL_Running: No
               Replicate_Do_DB:
           Replicate_Ignore_DB: base1,base2
            Replicate_Do_Table:
        Replicate_Ignore_Table:
       Replicate_Wild_Do_Table:
   Replicate_Wild_Ignore_Table:
                    Last_Errno: 1032
                    Last_Error: Could not execute Update_rows event on table base3.testor; Can't find record in 'testor', Error_code: 1032; handler error HA_ERR_KEY_NOT_FOUND; the event's master log mysql-bin.000310, end_log_pos 786074660
                  Skip_Counter: 1000000
           Exec_Master_Log_Pos: 786074133
               Relay_Log_Space: 240784999
               Until_Condition: None
                Until_Log_File:
                 Until_Log_Pos: 0
            Master_SSL_Allowed: No
            Master_SSL_CA_File:
            Master_SSL_CA_Path:
               Master_SSL_Cert:
             Master_SSL_Cipher:
                Master_SSL_Key:
         Seconds_Behind_Master: NULL
 Master_SSL_Verify_Server_Cert: No
                 Last_IO_Errno: 0
                 Last_IO_Error:
                Last_SQL_Errno: 1032
                Last_SQL_Error: Could not execute Update_rows event on table base3.testor; Can't find record in 'testor', Error_code: 1032; handler error HA_ERR_KEY_NOT_FOUND; the event's master log mysql-bin.000310, end_log_pos 786074660
   Replicate_Ignore_Server_Ids:
              Master_Server_Id: 1
                Master_SSL_Crl:
            Master_SSL_Crlpath:
                    Using_Gtid: No
                   Gtid_IO_Pos:
       Replicate_Do_Domain_Ids:
   Replicate_Ignore_Domain_Ids:
                 Parallel_Mode: optimistic
                     SQL_Delay: 0
           SQL_Remaining_Delay: NULL
       Slave_SQL_Running_State:
              Slave_DDL_Groups: 0
Slave_Non_Transactional_Groups: 0
    Slave_Transactional_Groups: 0
1 row in set (0.000 sec)
 
ERROR: No query specified
 
MariaDB [(none)]>

J'ai passé moults fois les commandes : stop slave; set global sql_slave_skip_counter=1; start slave; mais sans réussite.

Le dump que j'ai utilisé pour base3 est de ce matin, comme celui de base1 et base2 que j'ai importé.
J'ai lu qu'il devait y avoir une désynchronisation, mais ca n'expliquerait pas pourquoi base2 qui fait presque la même taille que base3 passe sans souci.

Dans mon fichier /etc/mysql/my.cnf, j'ai les options suivantes :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
[mysqld]
server-id              = 2
log_bin                = /var/log/mysql/mysql-bin.log
skip-log-bin
expire_logs_days        = 4
max_binlog_size        = 100M
#binlog_do_db           = base3
binlog_ignore_db       = base1
binlog_ignore_db       = base2
slave_parallel_threads=2
slave_parallel_mode=optimistic

(j'avais avant modif les options

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
replicate_ignore_db=base1
replicate_ignore_db=base2

)

=> quelle est la différence d'ailleurs entre binlog_do_db et replicate_do_db ? Sachant que côté master, j'ai l'option binlog_do_db.

J'ai en plus une centaine de fichier de type mysqld-relay-bin.000***. est-ce dû aux multiples set global sql_slave_skip_counter=1 que j'ai lancé (en mode bourrin via une boucle...)

Je suis vraiment bloqué sur cette base et là, je ne comprends plus rien.

Si quelqu'un a une idée, je suis preneur.

Merci d'avance

**dari68** · 20/05/2021, 13h14

Bonjour,

Quelle est la commande lancée sur le 2ème slave ...?

A+

**erwann56** · 20/05/2021, 13h18

Bonjour
Qu'entends tu par commande ?
Il s'agit juste d'une réplication avec des INSERT et UPDATE comme sur le premier slave.

**dari68** · 20/05/2021, 13h22

Ah Ok j'ai pensé à une archi MASTER => SLAVE

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
CHANGE MASTER TO
MASTER_HOST='serveur_master.tld',
MASTER_USER='repl',
MASTER_PASSWORD='passwd',
MASTER_LOG_FILE='mysql-bin.xxxxxxx',
MASTER_LOG_POS=xxx;
start slave;

A+

**erwann56** · 20/05/2021, 13h29

J'ai bien appliqué ce "CHANGE MASTER" etc sur les deux slaves. Même user replica, même mot de passe. Deux bases sur le premier, une seule sur le second.

Pour le premier , c'est nickel. Mais pas pour le second.

Je tourne en rond ....

**dari68** · 20/05/2021, 14h33

T as bien renseigné MASTER_LOG_POS ? lors de la réinitialisation de second slave ?

A+

**erwann56** · 20/05/2021, 16h36

Oui.

J'ai réinitialisé la base ( rm /var/lib/mysql et mysql intall db)

Et à nouveau le même souci ...

**dari68** · 21/05/2021, 09h27

Bonjour,

J'aurai restauré la base sur le slave en question puis refaire:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
CHANGE MASTER TO
MASTER_HOST='serveur_master.tld',
MASTER_USER='repl',
MASTER_PASSWORD='passwd',
MASTER_LOG_FILE='mysql-bin.xxxxxxx',
MASTER_LOG_POS=xxx;
start slave;

Avec la valeur à jour de MASTER_LOG_POS=xxx

A+

**erwann56** · 21/05/2021, 15h51

Fait aussi. Mais rien.

Je pense que mon explication est encore plus bête que tout ca finalement... Mon serveur master est en mysql5.7 .. Mes slaves en mariadb10.3.27.

En fait, c'est idiot .. Même si les db sont différentes, ca marche quand même pour le premier slave.

Et chose curieuse, le master pos du slave2 est à jour comme sur le slave1

**dari68** · 21/05/2021, 17h15

Master => Slave couvre toute l'instance: mises à jours des tables (bases existantes) et création de nouvelles bases est aussi propagée sur le slave ...

A+

**erwann56** · 21/05/2021, 19h32

Oui. Mais pourquoi cette erreur ? Alors que sur l'autre tout fonctionne...

Merci en tout cas pour ton temps...

Je pense que je vais devoir contacter un prestataire sur le sujet.

**Artemus24** · 22/05/2021, 11h00

Salut à tous.

Dans toutes vos explications, je ne vois aucune référence à l'utilisateur faisant la réplication.
Je parle de ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

GRANT REPLICATION SLAVE ON *.* TO 'repuser'@'192.168.0.22' IDENTIFIED BY 'motdepasse';

N'auriez-vous pas oublié de déclarer le deuxième esclave ?

@+

**erwann56** · 22/05/2021, 13h50

Bonjour,

Non, j'ai bien fais les mêmes commandes en parallèle sur les deux serveurs. Même user, même mot de passe. Server id 1,2 et 3.

Le truc étrange c'est que le serveur 3, celui qui merdoie, suit bien le log pos du master.

**Artemus24** · 22/05/2021, 14h22

Salut erwann56 .

D'après ce que je comprends, votre synopsis est le suivant :
--> base 1 du master ==> base 1 du slave 1.
--> base 2 du master ==> base 2 du slave 1.
--> base 3 du master ==> base 3 du slave 2.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Could not execute Update_rows event on table base3.testor; Can't find record in 'testor', Error_code: 1032; handler error HA_ERR_KEY_NOT_FOUND; the event's master log mysql-bin.000310, end_log_pos 786074660

L'erreur 1032 indique qu'il s'agit d'une opération faite sur le master et non reproduite sur le slave. Deux cas peuvent se produire :

a) la ligne en question n'existe pas dans le slave. Origine : vous avez une désynchronisation.
Il semble que l'erreur soit bien "HA_ERR_KEY_NOT_FOUND", la clef n'existe pas.
Avez-vous vérifié que votre base 3 dans le serveur slave 2 est bien synchronisé ?

b) le serveur slave est à l'arrêt. Etes-vous certain que le serveur slave2 fonctionne correctement ?

J'aimerai voir les déclaratives (fichier my.ini ou my.cnf) du master et des slaves.

Envoyé par erwann56

J'ai en plus une centaine de fichier de type mysqld-relay-bin.000***.

Il faudrait songer à créer un point de reprise, non ?
Faites une sauvegarde de vos bases de données, puis repartez proprement sur ce point de reprise.
Il est inutile d'avoir autant de fichiers de rotation.

L'important est d'avoir la bonne synchronisation entre vos bases de données master et slaves.

@+

**erwann56** · 22/05/2021, 17h07

Bonjour Artemus24,

Envoyé par Artemus24

Salut erwann56 .

D'après ce que je comprends, votre synopsis est le suivant :
--> base 1 du master ==> base 1 du slave 1.
--> base 2 du master ==> base 2 du slave 1.
--> base 3 du master ==> base 3 du slave 2.

=>> Oui, c'est bien ca.

Envoyé par Artemus24

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Could not execute Update_rows event on table base3.testor; Can't find record in 'testor', Error_code: 1032; handler error HA_ERR_KEY_NOT_FOUND; the event's master log mysql-bin.000310, end_log_pos 786074660

L'erreur 1032 indique qu'il s'agit d'une opération faite sur le master et non reproduite sur le slave. Deux cas peuvent se produire :

a) la ligne en question n'existe pas dans le slave. Origine : vous avez une désynchronisation.
Il semble que l'erreur soit bien "HA_ERR_KEY_NOT_FOUND", la clef n'existe pas.

=>> J'ai tenté de trouver sur le master via un mysqlbinlog mais je n'ai pas trouvé. Je ne suis pas expert mysql ....

Envoyé par Artemus24

Avez-vous vérifié que votre base 3 dans le serveur slave 2 est bien synchronisé ?

=>> J'importe le dump du matin de base3 sur slave2. Les dumps de base1 et base2 sont correctement importés sur slave1. Ce dernier suit totalement le master.

Envoyé par Artemus24

b) le serveur slave est à l'arrêt. Etes-vous certain que le serveur slave2 fonctionne correctement ?

=>> Oui, start slave et un show slave status montre qu'il suit le master.

Envoyé par Artemus24

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
 
 Slave_IO_State: Waiting for master to send event
                   Master_Host: 192.168.0.23
                   Master_User: replica
                   Master_Port: 3306
                 Connect_Retry: 10
               Master_Log_File: mysql-bin.000327
           Read_Master_Log_Pos: 989150095
                Relay_Log_File: mysqld-relay-bin.000073
                 Relay_Log_Pos: 71191403
         Relay_Master_Log_File: mysql-bin.000327
              Slave_IO_Running: Yes
             Slave_SQL_Running: No
               Replicate_Do_DB: base3
           Replicate_Ignore_DB: base1,base2
            Replicate_Do_Table:
        Replicate_Ignore_Table: 
       Replicate_Wild_Do_Table:
   Replicate_Wild_Ignore_Table:
                    Last_Errno: 0
                    Last_Error:
                  Skip_Counter: 0
           Exec_Master_Log_Pos: 989150095
               Relay_Log_Space: 176049152

J'aimerai voir les déclaratives (fichier my.ini ou my.cnf) du master et des slaves.

Serveur master (mysql5.7.31)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
!includedir /etc/mysql/conf.d/
!includedir /etc/mysql/mysql.conf.d/
 
[mysqld]
server-id=1
binlog-do-db=base1
binlog-do-db=base2
binlog-do-db=base3
log_bin = /var/log/mysql/mysql-bin.log
datadir=/var/lib/mysql
sync_binlog=1

Serveur slave1 qui fonctionne (mariadb10.3.27)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
[mysqld]
server-id              = 3
log_bin                = /var/log/mysql/mysql-bin.log
expire_logs_days        = 4
binlog_checksum         =0
max_binlog_size        = 100M
binlog_do_db           = base1
binlog_ignore_db       = base2
binlog_ignore_db       = base3
slave_parallel_threads=2
slave_parallel_mode=optimistic

Serveur slave2 en erreur (mariadb10.3.27)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
[mysqld]
server-id              = 2
log_bin                = /var/log/mysql/mysql-bin.log
expire_logs_days        = 4
max_binlog_size        = 100M
binlog_do_db           = base3
binlog_ignore_db       = base1
binlog_ignore_db       = base2
replicate_ignore_db=base1
replicate_ignore_db=base2
slave_parallel_threads=2
slave_parallel_mode=optimistic

Je viens de supprimer tout le /var/lib/mysql et je relance un import (celui de ce matin).

@+

**Artemus24** · 22/05/2021, 17h49

Salut erwann56.

Avez-vous testé par un ping, si le serveur est accessible ?
Vous vous mettez sur le serveur master et vous testez slave 1 & slave 2.
Puis vous faites l'inverse, du serveur slave 1 & 2 vers le master.

@+

**erwann56** · 22/05/2021, 18h17

Il n'y a aucun problème entre les serveurs. Le dump est importé via scp du master vers slave2. Un telnet du slave2 vers le master sur le 3306 fonctionne parfaitement.
Et le log pos du master correspond bien a celui indiqué par le slave2, donc celui-ci suit bien le master.

**dari68** · 22/05/2021, 19h42

Hello,

Les variables: SERVER_ID sont bien déclarées ?

A+

**erwann56** · 22/05/2021, 20h54

oui.

Un truc bizarre quand même .. Ma base est plus grosse sur slave2 après import du dump que sur le master. 65G contre 43.....

Bon, vous embêtez pas .. Je vais voir avec un prestataire externe.

**valenciennes** · 28/10/2021, 13h13

Bonjour
Nous venons de nous apercevoir de la présence de nombreux fichiers du type mariadb-relay-bin.XXX avec XXX allant de 000001 à 000400 dans le répertoire mariadb (voir copie d'écran) de notre serveur maitre .
Nous utilisons la réplication avec 2 serveurs esclaves, tout fonctionne correctement, la réplication fonctionne, seul problème à chaque démarrage de mariadb sur le maitre on ajoute un fichier mariadb-relay-bin.XXXXXX ! dans le répertoire mariadb du maitre !
Aucun fichier mariadb-relay-bin.xxx n'a était supprimé depuis le début de la mise en réplication .

Avez vous eu une solution ?
Merci d'avance.

Réplication Mariadb 10.3.27

Administration MySQL

Discussions similaires

Partager

Partager