Discussion :

[Msysteme]

Bonjour, j'ai une application web en php/mysql qui est hebergé sur un serveur distant, sa base des données est alimenté via le site par 500 clients environ, chaque client reçoit une 40 de personnes par jour, donc environ 40 updates/jour * 500 partenaire , donc elle est alimenté continuellement avec des données tres sensibles.

A chaque fois que nous voulons exploiter les données de cette base nous demandons son backup, est bien sur nous avons pas les données à 100 % à jour, toujours il y a un décalage, donc je suis dans l'obligation d'automatiser cette tache et avoir l'information instantanément.

Que me proposez vous ? une solution simple qui va droit au but.

Merci pour nos expert qui orientent toujours les personnes débutant et manquant d'expériences comme moi

[Séb.]

A chaque fois que nous voulons exploiter les données de cette base nous demandons son backup

Qu'appelles-tu "exploiter la base" ? Pourquoi demander un backup ? Donne des exemples.

est bien sur nous avons pas les données à 100 % à jour, toujours il y a un décalage, donc je suis dans l'obligation d'automatiser cette tache et avoir l'information instantanément.

Je pense que ceci s'éclairera lorsque tu auras répondu aux questions ci-dessus.

[Msysteme]

A chaque fois que nous voulons exploiter les données de cette base nous demandons son backup

nous sommes pas le propriétaire de ce site, nous avons droit juste aux données remontées par nos partenaires qui sont les 400 clients qui utilise le site X,

Exp :
les clients du site : des bibliothèque qui réceptionnent 40 personnes par jour demandant un service,
ce service doit être imprimé sur des papiers
le propriétaire du site a installé le site web chez les bibliothèques pour leurs renvoyer le service sur des papiers que lui imprime et réceptionne les commandes via le site, le site s'en charge de formater les données selon le modèle de papier sur lequel il vont imprimé les donnée demandé par les 40 personnes

nous on s'interesse aux personnes,leurs natures, leurs demandent, le type de donnée qu'il souhaitent avoir.......

Dans une situation logique, on devait être nous qui communiquent avec les biblio directement mais ce n'est pas le cas pour le moment

[Séb.]

nous on s'interesse aux personnes,leurs natures, leurs demandent, le type de donnée qu'il souhaitent avoir.......

Je comprends que c'est de l'analyse à froid et que tu n'as pas accès direct à la BdD.
Il faut donc travailler sur un export, et il y aura donc toujours un décalage plus ou moins important avec la data réelle, selon la périodicité de l'export.
Sachant cela quelle est ta demande ?

[Msysteme]

ma demande ; quel est le moyen qui me permettra d'avoir l'info au temps auportun

un web service par exemple sera t il une bonne solution ?

si oui que dois je leur demander comme infos a me fournir ?

[Séb.]

un web service par exemple sera t il une bonne solution ?

Oui c'est sûrement la solution la plus simple à mettre en place pour avoir la data à jour.

De ton côté tu te connectes au ws dédié, une clef secrète t'authentifie, et tu importes le fichier obtenu :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
$context = stream_context_create([
    'http' => [
        'method' => 'GET',
        'header' => ['Key: 1234314-3434124-1343412-34134134'],
    ],
]);
$fp_source = fopen('https://example.net/ws/export-db.php', 'r', $context);
$fp_destination = fopen(__DIR__ . '/export-db.sql.gz', 'w');
stream_copy_to_stream($fp_source, $fp_destination);
// Arrivé ici tu as un fichier export-db.sql.gz qu'il te suffit de dézipper : gzopen() etc.
// et d'importer, en ligne de commande : mysql -uuser -ppassword dbname < /path/to/export-db.sql

Côté serveur / webservice il y aurait un script /ws/export-db.php de ce style qui générerait l'export à la volée:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
// Tableau de clefs autorisées
$keys = ['1234314-3434124-1343412-34134134'];
 
// On récupère la clef "Key" soumise
$incoming_key = $_SERVER['HTTP_KEY'];
 
if (!in_array($incoming_key, $keys)) {
    header('HTTP/1.0 401 Unauthorized');
    exit;
}
 
// Faire un mysqldump en ligne de commande https://dev.mysql.com/doc/refman/8.0/en/mysqldump.html
// Sauvegarder la bdd dans /path/to/backup-db.sql
// Compresser backup-db.sql
 
header('Content-Type: text/plain'); // Type du fichier d'origine
header('Content-Length: ' . filesize('/path/to/backup-db.sql.gz')); // On donne la taille pour mieux suivre le dl
header('Content-Encoding: gzip'); // Type de compression
 
// Envoyer le fichier
readfile('/path/to/backup-db.sql.gz');

Voilà pour l'idée et un début de mise en œuvre.

[Msysteme]

ohhhhhhhhhhhh merci infiniment pour cette aide vous etes genereux

alors, j'ai bien réfléchi, je ne peux invoquer le web service pour me ramener la base de données à chaque fois, pour ne pas prendre un vrai backup et l'importer dans ma base à moi, et apres mon web service sera juste pour les mises à jour, ma question maintenant comment dois je différentier entre ce que j'ai et ce que je n'ai pas, surtout que la base distante est remplie avec des nouvelles insertions et aussi des updates, peut être des suppréssion

une idée svp ?

[Séb.]

Tu peux te repérer si dans chacune de ses tables la base enregistre les dates de création/modification/suppression de chacune de ses lignes.

Ensuite même principe que plus haut.

[escartefigue]

Si je comprends bien le besoin, il s'agit de faire des études statistiques sur les types de services demandés par les adhérents des différentes bibliothèques.
Auquel cas, il est inutile de connaître les toutes dernières demandes des adhérents, une extraction périodique, par exemple hebdomadaire, suffit amplement.