Replication Asynchrone MySQL 4.1 (Master) et 5.0 (Slave)

:DJ'ai une problématique un peu spécial !

Nous avons actuellement toutes les nuits des opérations d'Export et d'Import de Données entre les "Sites" et le Serveur "Appli Web"
Et Cela plombe nos Serveurs. Trop de Données circulent !

En fait pour chaque besoin, il y a des Exports de Données, mais ces données sont parfois les mêmes, on aimerait regrouper le tout d'un export global, les Appli Web ferait le tri (ne prendrait que ce qu'elles ont besoin)
Pour le Moment, je n'aborde que problématique Sites -> Server, mais l'autre sens existe aussi !


Contraintes
* Sites
... Windows
... EasyPHP 1.8, MySQL 4.1.9 - Il n'est pas prévu de changer de version
... 60 Sites = 60 Serveur MySQL
... Non Accesible depuis l'Extérieur

* Serveur "Appli Web"
... Linux
... MySQL 5.0
... 60 Bases = une pour chaque site !
... Non Accessible depuis l'Extérieur (sauf SSH mais le Directeur ne veut pas que l'on fasse de Tunnel, un petit coup de paranoïa)

Attention, cela serait une réplication asynchrone entre 21h et 6h.

L'Objectif serait d'extraire le Journal Binaire (ça c'est bon, j'ai mis log-bin dans le fichier ini de MySQL de EasyPHP, cela enregistre mes requêtes), d'envoyer ce Log Binaire vers le Serveur !

Mais on voudrait réduire les Flux !
Donc au lieu d'exporter tout le Log Binaire, j'aimerais n'exporter que le log de certaines tables (j'ai vu --replicate-do-table sur l'Esclave, mais je ne vais pas transférer le log de 100 tables pour récupérer le contenu de 5)

J'ai vue que l'on peut accéder au log via SHOW BINLOG EVENTS, je pourrais bidouiller un système qui envoie les requêtes de certaines tables (en parsant le SQL) via un WebService qui les executerait sur le Slave, avec gestion des erreurs évidemment
Comme j'ai un temps limité de travail (21h à 6h), imaginons, qu'il n'est pas fini la replication à 6h, il faudra gérer un curseur pour reprendre le lendemain la lecture du log à l'endroit où l'on était la veille ... Uzinagaz en prévision !

Pour information, c'est la même problématique "Utiliser Talend pour Replication entre Bases Hérétorgènes" à la différence que l'on aurait des Bases Homogènes, forcément en replication, et qu'il y aurait une transformation dans un second temps ...

J'ai besoin de votre avis pour mettre en place cette replication SANS utiliser trop de bidouilles ou de truc maison

Problème !

Comment gérer manuellement les LOAD DATA INFILE fait sur le Master ?
Cela contient bien le fichier dans le binaire mais SHOW BINLOG EVENTS ne le fournit pas

Je regarder "mysqlbinlog" et je n'arrive pas non plus à récupérer le contenu du fichier ! Dommage !

Est-ce que quelqu'un sait comment réduire le log binaire à un nombre de table restreinte sur le Master et non via les contraintes de l'Esclave ?

salut

il faut interdire/autoriser mysql à ecrire les tables que tu veux dans le fichier binaire grace à binlog-do-db ou binlog-ignore-db


plus d'info ici http://dev.mysql.com/doc/refman/5.0/fr/binary-log.html

Effectivement, même en MySQL 4.1, binlog-do-db existe !
Mais comme je n'ai qu'une DB sur les Master, ce n'était pas le problème !
J'ai besoin de limiter à une liste de table (5 parmis 100)

Mais je ne trouve pas un "binlog-do-table" qui fonctionnerait comme "replicate-do-table" mais du côté Master 4.1 et non Slave 5.0

C'est fonctionnalité est réclamée mais n'existe pas encore !


Sinon, hier, j'ai refait des tests avec "mysqlbinlog" et les LOAD DATA INFILE, cela fonctionne parfaitement, j'avais mal écrit la ligne de commande

oups pardon j'avais pas vu que la granularité voulu était la table.

Il y a une autre technique pour limiter la taille du fichier binaire c'est de faire un pont filtrant mysql grace au multi_instance et au moteur blackhole.

comme décrit ici http://www.mysqlperformanceblog.com/...l-replication/.


a plus