Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter
Discussion :
Synchronisation de deux bases de données( locale et distante)
Bonjour à tous,
Je voulais mettre en place une solution pour rendre une application web accessible en hors ligne, pour se faire je me suis basé sur le html5, javascript et jquery, j'ai utilisé le manifest et j'ai conçue une base de données en locale. Mon problème majeur maintenant est la synchronisation entre ces deux bases de données qui n'ont aucune relation.
S'il vous plait si quelqu'un a une idée me répond c'est vraiment urgent.
(c'est mon projet de fin d'années)
Bonjour,
Je pense qu'il y a 2 possibilités en fonction du fonctionnement que tu veux faire :
- 1er cas ta base centralisée est Maitre (c'est à dire que toutes les modifications : INSERT, UPDATE et DELETE sont uniquement faites sur cette base) et la base locale est Esclave (uniquement des SELECT) => c'est un fonctionnement de réplication du Maitre vers les Esclave lorsque l'escalve est connecté (fonctionnement natif de MySQL)
- 2ème cas les 2 bases sont en Lecture/Ecriture (INSERT, UPDATE, DELETE et SELECT indéféremment sur la base centralisée et la locale) dans ce cas c'est de la synchronisation bidirectionnel... et là... ce n'est pas natif dans MySQL, (j'ai un sujet en cours avec la même question et je fais des essais en ce momment) et pour l'instant je ne sais pas faire...
Alain
Bonjour
la première cas ne rèsoud pas mon problème vue que quand l'utilisateur est en hors ligne, il peut ajouter des données dans la bases locale qu'il faut les mettre à jour dans la bases centrale. En effet la deuxième cas est bien ce qu'il me faut, pour ce la j'ai fait des requêtes qui font la sélection de la base centrale et l'insertion dans la base local et vise vers ça, je sais que c'est pas une bonne solutionet je voudrais bien l'amélioré pour cela je te demande de me mettre au courant au cas ou t'as trouver une bonne solution
.
Avez-vous trouvé la solution à votre problème ? Si oui, laissez-moi savoir.
Merci
salut,
et en utilisant les triggers pour générer des actions sur la base distante?
en local tu devras utiliser le moteur federate (à installer car il ne l'est pas d'origine en général) pour accéder aux tables distantes...
soyonspensez à mettre
quand votre problème est résolu ou à utiliser
pour les réponses pertinentes...
ne posez pas de problématique soi-disant simplifiée sur des problèmes que vous n'êtes pas capable de résoudre par respect pour ceux qui planchent dessus... sinon:et à utiliser
pour insérer votre code...
Bonjour,
Je vois deux cas possibles, pour l'un j'ai une réponse, pour l'autre c'est plus complexe et je planche dessus, car j'en ai réellement besoin moi-même.
Cas 1 : L'application en local n'est que sur un seul terminal. Et donc il n'est nécessaire que de synchroniser qu'une seule base de données locale avec une base de données distante.
Solution : Lorsqu'on fait une écriture, on la fait uniquement en local. Puis soit créer un script automatique qui synchronisera tous les X temps, soit synchroniser via un script en le lançant manuellement. Mais alors quel rôle aura ce script?
Avant toute chose, il faudra ajouter un champs "entrytime" dans chaque table (vous pouvez l'appeler comme vous voulez), dans lequel vous stockerez la date, heure, etc à laquelle il a été ajouté, dans le meilleur des cas en format unix. Dans un second temps votre script d’écriture sur la base locale devra après chaque écriture, (re) générer un petit fichier log dans lequel il stockera la date du dernier enregistrement qu'il a effectué.
Le fichier de synchronisation, lui devra avant toute chose (pour un gain de ressources etc) comparer le fichier log de la base locale à celui de la base distante. S'ils sont identiques, alors le script ne fera rien. Sinon, le script lis les entrées sur la base locale qui sont plus récente que la date indiquée dans le fichier log de la base distante. Il enregistrera ensuite les données lues sur la base distante puis modifiera la date du log de la base distante pour la mettre à la même date que le fichier log de la base locale.
De même si la base distante est plus récente que la base locale, il fera les choses en sens inverse.
Astuce, pour gagner du temps d’exécution, vous pouvez spécifier dans le fichier log les dates de dernières mises à jour de chaque table séparément, ainsi si vous avez 1 seule table sur 100 qui a été mise à jour, votre fichier de synchronisation ne mettra à jour que cette table là. De plus si vous faites ça, vous n'êtes plus obligés d'ajouter un champs "entrytime" sur chaque table, à la place vous stockez juste numéro de la dernière entrée de chaque table lors de la dernière synchronisation. Et alors le script de synchronisation n'aura pas besoin de faire une recherche par date etc, il se contentera de lire les entrées d’après.
Cas 2 : L'application en local est sur plusieurs terminaux, il faut donc synchroniser les tables locales avec la table distante en faisant attention à ce qu'il n'y ait pas d’interférence, non seulement lors de l'enregistrement sur la base distante, mais aussi lors de la synchronisation de chaque base locale avec la base distante pour importer les entrées effectuées depuis les autres bases locales.
La solution ici serait bien sur de comparer les entrées, avec un bon algorithme que je concocterai selon mes besoins ça devrait le faire(et je ne doute pas de vos capacités à bien architecturé pour vos propres besoins). Mais il faut aussi que les synchronisations n'aient jamais lieu au même moment. Et faire un comparateur d'entrées, là le comparateur d'entrées mériterait un sujet à lui seul, et surtout je suis débutant en développement, j'ai plein d'idées mais je réinvente peut-être la roue.
Alors oui c'est ça la solution. Mais j'ai envie de trouver une solution ou les utilisateurs peuvent synchroniser quand ils veulent sans se soucier si quelqu'un est en train de synchroniser en même temps et s'il y aura des interférences.
Bref je ne sais pas si je me suis fait comprendre et si je suis pertinent, ça fait 48 heures que je n'ai pas dormi et j'ai encore 8 heures de travail à tirer.
besoin d'informations supplémentaires si pb résolu
bonjour à tous
j'ai trouvé très intéressant votre discussion, car j'ai un problème qui s'inscrit dans le même cadre, donc je suis entrain d'explorer des pistes de solution. Alors j'aimerai savoir si vous avez pu approfondir vos recherches sur des solutions proposées plus haut ou si quelqu'un d'autre a des idées dessus.
pour revenir à mon problème, il s'agit effectivement d'un problème se synchronisation des applications en local avec une application sur le Cloud.
je sujet est un peu nouveau pour moi, et j'aimerai avoir vos avis sur ce sujet et éventuellement des méthodes de synchronisation existantes et si possible un site où je pourrai trouver la document sur ce sujet.
Merci
salut,
L'idée qu'il faut avoir c'est aussi est-ce qu'une solution tierce existe et traite le besoin que j'ai...
une solution compilée (tierce ou fait maison) permet des performances amplement plus grande que des scripts, après tout dépend du coût, temps ou capacité de de développement...
quoi qu'il en soit tout est toujours basé sur un système maître-esclave(s)... il est clair qu'un système maître distribué est plus complexe, surtout que mysql est plus pensé comme un sgbd pas distribué à priori...
soyons
ne posez pas de problématique soi-disant simplifiée sur des problèmes que vous n'êtes pas capable de résoudre par respect pour ceux qui planchent dessus... sinon:
En effet, la chose se présente telle que vous venez de la présenter. Toutefois, l'idée principale ici c'est une solution fait maison tout en ayant en idée les solutions tierces existantes. Pourriez-vous m'en dire plus? Merci
Je ne suis pas architecte DB, mais il y a différents axes si tu veux faire ça en version maison:
- CRON interne ou externe qui exécute la tâche de mise à jour à une temporalité fixe. Sur de gros volumes entre 2 synchronisations, ça pose des problème d'utilisation de bande passante et de charge processeur (avec un risque de saturation) et que tu perdes tout ce qui c'est produit entre les synchros ou pendant l'une d'elles
- faire une synchro à la volée sur chaque opération ou un groupe d'opérations (toutes les x opérations par exemple)
après, beaucoup de choses dépendent de l'architecture de la partie maître. Par exemple si tu fais du load balancing, tu as diverses stratégies qui dépendent de la nature des données:
- tu peux avoir des serveurs (réels ou vm) jumeaux qui absorbent juste la charge au prorata de leur nombre
- des tables énormes qui sont scindées sur plusieurs serveurs et requêtées en parallèle pour diviser la encore le temps de recherche/mise à jour
- un mixte des 2 stratégies
soyons
ne posez pas de problématique soi-disant simplifiée sur des problèmes que vous n'êtes pas capable de résoudre par respect pour ceux qui planchent dessus... sinon:
Merci Eric,
il me reste à rechercher la documentation traitant du sujet. J'ai déjà tout de même une idée de ce qui m'attend.
une fois de plus merci
généralement, il faut voir quel matériel tu as à ta disposition :
- puissance des serveurs ou VM (nombre de coeurs, mémoire, hdd ou ssd)
- bande passante entre les serveurs maîtres/esclaves (si tu es en interconnexion directe tu peux être facilement entre 1 et 10Go/s en cuivre ou fibre alors qu'en infrastructure d'hébergement ou de cloud, tu seras généralement bridé à 100 ou 200Mo/s)
soyons
ne posez pas de problématique soi-disant simplifiée sur des problèmes que vous n'êtes pas capable de résoudre par respect pour ceux qui planchent dessus... sinon:
Bonjour,
je trouve votre discussion trés interessante, mon problème est dans le même sens, et je ne sais toujours pas l'architecture optimale pour mon cas de figure. je dois réaliser la partie collaborative pour une application desktop.
Pour celà, une base de donnée centralisée sera mise en place. Chaque poste client devra pouvoir s’y connecter afin de synchroniser les données. L’application devra ensuite pouvoir fonctionner « offline ».
j'aurais à disposition un serveur contenant la base de données maître, et plusieurs bases de données esclaves, chaque poste client doit pouvoir se connecter au serveur et faire une synchronisation bidirectionnelle en temps réel. donc je devrai mettre en place une architecture Actif-Actif .
tout ca est nouveau pour moi, pourriez vous me donner des idées pour me lancer.. Est ce que c'est bien d'avoir une base de données locale au niveau de chaque poste client, ou c'est mieux d'opter pour une base de données distante, la réplication d'après vous doit être faite au niveau d'une base de données de backup qui se trouve dans le même serveur ?
je tiens à préciser que l'application devra ensuite pouvoir fonctionner en mode déconnecté, est ce que ca exige d'avoir une base de données locale??
merci pour votre réponse
Salut rania_nina.
Pourquoi déterrer un vieux sujet (de 2012) ?
Il ne s'agit pas d'une base de données mais d'un serveur mysql ? Soyez précise car cela peut porter à confusion.Envoyé par rania_nina
Si ce sont vos contraintes, vous n'avez pas le choix.
Vous devez mettre en place une réplication de type "maitre-maitre" et non "maitre-esclave" comme cela se fait fréquemment.
Une application OFFLINE ne fonctionne qu'en local, c'est-à-dire sans internet.
Sous WampServer, cela sert justement à faire de la maintenance, sans qu'un utilisateur vienne faire quoi que ce soit sur le serveur MySql.
Or la réplication "maitre-maitre" nécessite d'être en mode "online".
Autrement dit, la réplication sert quand vous faites des interventions sur votre table dans votre serveur local.
Pour effectuer une synchronisation, en temps réel, vous devez être en mode "online".
Vous comprenez que ce n'est plus du temps réel si vous êtes en mode "offline".
On ne peut pas répondre à votre question sans savoir pourquoi vous envisagez ce genre de solution. Où si vous préférez vos contraintes !
La réplication sert quand on veut alléger le serveur central parce qu'il y a trop d'utilisateurs qui se connectent dessus. Par exemple un serveur central avec 100 utilisateurs.
On duplique ce serveur, et de cela, on aura deux serveurs avec chacun 50 utilisateurs. Chaque serveur sera plus optimal vis-à-vis ds utilisateurs.
Pourquoi parlez-vous de backup ?
Bien sûr que OUI. Hors ligne ou déconnecté veut dire sans avoir accès à internet.
Mais pourquoi désirez-vous vous déconnecter de l'internet ?
@+
Salut rania_nina.
Je parlais de ce fil de discussion ouvert par chadha, en 2012, il y a sept ans.
On va faire simple, vous désirez créer une réplication maître-maître entre un serveur MySql distant et un serveur MySql local.
Êtes-vous sous MySql ou sous MariaDB ?
Quelle est la version MySql (ou MariaDB) que vous utilisez ?
Est-ce que vous êtes sous windows ou sous linux ? Si linux, quelle distribution ?
En cherchant un peu sur le net, vous trouvez quelques sujets abordant cette question :
https://www.supinfo.com/articles/sin...ees-avec-mysql
https://lucasvidelaine.wordpress.com...-maitre-mysql/
https://mathisthuault.wordpress.com/...-maitre-mysql/
http://www.responsive-mind.fr/replic...master-master/
Sinon vous avez les didacticiels de Developpez :
https://jgrondin.developpez.com/arti...ication-MySQL/
En ce qui me concerne, j'ai fait une fois le test de la réplication maître-esclave mais pas maître-maître.
A vrai dire, je n'en ai pas besoin.
Il arrive que la base de données dans votre serveur doive subir de la maintenance.
Pour ce faire, on bloque tous les accès à la base en se mettant en mode offline.
Et comme vous êtes seul, en tant que compte root, à faire de la maintenance, vous ne serez pas bloqués par un quelconque utilisateur.
La maintenance, qu'est-ce que c'est ?
Il s'agit de retailler les tablesspaces, de faire de la réorganisation, de faire une sauvegarde, ...
Enfin tout ce qui est nécessaire pour optimiser votre base de données et en cas de plantage, de pouvoir revenir à la version de la veille.
La réplication va se faire entre le serveur distant et le serveur local.
Pour les autres serveurs clients (et locaux), je ne sais pas comment cela va se passer.
Il vous faut être en mode "online".
Je ne me souviens pas, mais je crois que l'on peut déclencher une synchronisation entre le serveur local et distant.
Commencez par un serveur distant et un serveur local en réplication maitre-maitre.
Vous faites une intervention sur l'un des serveurs (le local), par exemple une suppression. Cela doit être répliqué sur l'autre serveur (le distant).
Et de même, sur l'autre serveur (le distant), vous faites une insertion, et cela doit se répercuter sur le serveur local.
Vous devrez aussi automatiser la remise de votre serveur local en mode online afin d'effectuer une synchronisation.
Les fichiers qui sont au coeur de ce mécanisme sont les binary log.
Il faut les faire tourner, disons une fois par jour.
Tourner veut dire que chaque fichier est en rotation et il s'en crée un à chaque fois que vous redémarrer mysql.
C'est automatique et il n'y a rien à faire sinon redémarrer MySql.
Sur le serveur local, il n'est pas nécessaire de faire un backup puisque par la réplication, vous pouvez récupérer vos données depuis le serveur distant.
Il est nécessaire de faire un backup sur le serveur distant.
Il faudra que vous réfléchissez à la mise en place de l'activité autour de vos serveurs locaux.
Par exemple, apprendre à gérer les points de reprise en cas de plantage de votre serveur.
@+
Salut rania_nina.
Il y a plusieurs solutions pour bloquer les utilisateurs.
Par exemple à partir d'Apache, il suffit dans le virtualHost de remplacer "Require all granted" par "Require Local".
Ici, c'est mon "localhost", qui est uniquement accessible en local.
Code : Sélectionner tout - Visualiser dans une fenêtre à part
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22# ========================== # # Localhost sans SSL # # ========================== # <VirtualHost 127.0.0.1:80 [::1]:80> ServerName localhost ServerAdmin artemus@jcz.fr DocumentRoot "${Repertoire}/www/" # Redirect permanent / https://localhost/ # ErrorLog "${repertoire}/www/Logs/error.log" CustomLog "${repertoire}/www/Logs/custom.log" common # <Directory /> Options -Indexes +FollowSymLinks +MultiViews AllowOverride none <RequireAny> Require local </RequireAny> </Directory> </VirtualHost>
Du coup, personne ne peut y accéder depuis internet.
L'exemple est mauvais car la déclaration du virtualHost est faite justement pour un accès en local, mais le principe reste le même.
On peut aussi fermer le port 3306. C'est juste une règle que l'on active ou que l'on désactive dans le pare-feu de windows.
Au niveau de la box routeur, on peut bloquer la redirection vers votre serveur mysql. C'est cette solution que j'utilise.
Au niveau de l'ordinateur, il suffit de désactivier le protocole IPv4 et/ou IPv6
Pour MySql, il faut le faire en deux temps. D'abord avertir à l'avance, tous les utilisateurs qu'il y aura une maintenance
Puis dans un script, rendre le compte par lequel les utilisateurs se connectent, inaccessible. Comment ?
En supprimant tous les privilèges de ce compte.
La solution proposée est "Status: Deprecated".
Précedemment, vous disiez "offline" et maintenant vous parlez de "déconnecté".
Si vous êtes déconnectés, les utilisateurs n'ont plus accès au serveur MySql, tandis que le serveur est encore accessible par internet.
Dans ce cas là, on peut faire une synchronisation.
Je ne comprends pas trop. Vous disiez auparavant que vous aviez un serveur mysql local et un serveur musql central.
D'où l'intérêt de la réplication Maître-Maître. Si vous avez un seul serveur, la réplication ne vous sert à rien.
Je parle de votre poste client qui possède son propre serveur mysql en local et où un seul utilisateur a accès.
D'où le fait de vouloir synchroniser ce serveur local avec votre serveur central (ou distant).
@+
Salut Artemus.
je pense qu'elle n'est pas complète, je suis à la recherche d'une autre solution, je vais essayer avec phpMyAdminLa solution proposée est "Status: Deprecated".
à mon sens "offline" veut dire déconnecté qui veut dire n'est pas connecté à internet, je ne sais pas si j'ai raison ou pas ! pourquoi vous dites que les utilisateurs en mode déconnecté n'auront pas accès au serveur ???Précedemment, vous disiez "offline" et maintenant vous parlez de "déconnecté".
Si vous êtes déconnectés, les utilisateurs n'ont plus accès au serveur MySql, tandis que le serveur est encore accessible par internet.
Dans ce cas là, on peut faire une synchronisation.
Le but c'est de faire la synchronisation entre plusieurs ordinateurs qui utilisent l'application et le serveur, ces ordinateurs je pense qu'il est obligatoire qu'ils aillent une base de données locale car sinon ce ne sera pas possible d'utiliser l'application en mode déconnecté. n'est ce pas ?
j'ai plusieurs ordinateurs liés à un seul serveur MySQL, chaque ordinateur doit avoir une base de données pour qu'on puisse faire la synchronisation avec le serveur.Je ne comprends pas trop. Vous disiez auparavant que vous aviez un serveur mysql local et un serveur musql central.
D'où l'intérêt de la réplication Maître-Maître. Si vous avez un seul serveur, la réplication ne vous sert à rien.
oui c'est ca, sauf que j'ai plusieurs postes client, du coup je ne sais pas si c'est faisable de configurer Master-Master au niveau de chaque poste.Je parle de votre poste client qui possède son propre serveur mysql en local et où un seul utilisateur a accès.
D'où le fait de vouloir synchroniser ce serveur local avec votre serveur central (ou distant).
Merci beaucoup pour vos réponses
@+
Salut rania_nina.
Pour commencer, faites le test entre des ordinateurs dont l'un sera slave (votre poste local) et l'autre master (votre serveur distant).
--> https://www.it-connect.fr/replicatio...ysql%EF%BB%BF/
Pour basculer en mode master-master, il suffit de faire deux déclaratives en mode master-slave.
Autrement dit, vos ordinateur sont en mode master et slave en même temps.
@+
Vous avez un bloqueur de publicités installé.
Le Club Developpez.com n'affiche que des publicités IT, discrètes et non intrusives.
Afin que nous puissions continuer à vous fournir gratuitement du contenu de qualité, merci de nous soutenir en désactivant votre bloqueur de publicités sur Developpez.com.
Répondre avec citation
de mon aide, vous pouvez cliquer sur
Partager