IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

PHP & Base de données Discussion :

Optimisation synchro entre 2 bases [MySQL]


Sujet :

PHP & Base de données

  1. #1
    Membre habitué Avatar de legrandse
    Homme Profil pro
    Responsable de service informatique
    Inscrit en
    Décembre 2010
    Messages
    350
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Belgique

    Informations professionnelles :
    Activité : Responsable de service informatique

    Informations forums :
    Inscription : Décembre 2010
    Messages : 350
    Points : 149
    Points
    149
    Par défaut Optimisation synchro entre 2 bases
    Bonjour à tous,

    Pourriez-vous me dire s'il y a moyen d'améliorer mon script de synchronisation de manière à ce qu'il y aurait le moins de requêtes possibles ?

    A l'heure actuelle si j'ai 500 lignes trouvées il va chaque fois faire un INSERT 500 x. Et quand il n'y a pas de réseau 3G cela prend une plombe pour terminer la requête.

    - Serait-il possible par exemple que s'il trouve 500 lignes il constitue un array qui serait inséré en une seule fois dans ma base esclave ?

    - Soit un autre moyen auquel je n'ai pas pensé ?

    En vous remerciant pour votre aide.


    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    $sql= "SELECT * FROM gghf_rando WHERE time > '$datesync'";
    $resultats1 = mysql_query($sql, $connexion2);
     // On boucle sur toute la table
    while($ligneMaster = mysql_fetch_assoc($resultats1)){
     
    	 	// on insert dans le slave les données de la ligne du master
    		$sql2 = 'INSERT INTO gghf_rando (no,annee,rando,id, nom, prenom, rue, code, postal,newid,tombola) VALUES ( "'.$ligneMaster['no'].'","'.$ligneMaster['annee'].'",  "'.$ligneMaster['rando'].'",  "'.$ligneMaster['id'].'","'.$ligneMaster['nom'].'","'.$ligneMaster['prenom'].'","'.$ligneMaster['rue'].'","'.$ligneMaster['code'].'","'.$ligneMaster['postal'].'","'.$ligneMaster['newid'].'","'.$ligneMaster['tombola'].'"  )';
    		$resultats2 = mysql_query($sql2, $connexion1);
     
    }

  2. #2
    Expert éminent sénior
    Avatar de rawsrc
    Homme Profil pro
    Dev indep
    Inscrit en
    Mars 2004
    Messages
    6 142
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 47
    Localisation : France, Bouches du Rhône (Provence Alpes Côte d'Azur)

    Informations professionnelles :
    Activité : Dev indep

    Informations forums :
    Inscription : Mars 2004
    Messages : 6 142
    Points : 16 545
    Points
    16 545
    Billets dans le blog
    12
    Par défaut
    Salut,

    Tu peux faire un INSERT global :
    Code SQL : Sélectionner tout - Visualiser dans une fenêtre à part
    INSERT INTO table (col1, col2) VALUES (val1a, val1b), (val2a, val2b), (val3a, val3b)

  3. #3
    Membre habitué Avatar de legrandse
    Homme Profil pro
    Responsable de service informatique
    Inscrit en
    Décembre 2010
    Messages
    350
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Belgique

    Informations professionnelles :
    Activité : Responsable de service informatique

    Informations forums :
    Inscription : Décembre 2010
    Messages : 350
    Points : 149
    Points
    149
    Par défaut
    Merci pour ta réponse mais malheureusement je ne comprend pas ce que tu me suggère de modifier.

    En me relisant je n'explique pas tout ce dont vous devriez savoir à mes torts.

    Je résume:

    La base maître sélectionne en boucle les enregistrements du jour c'est ceci dans ma requête :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    $sql= "SELECT * FROM gghf_rando WHERE time > '$datesync'";
    $resultats1 = mysql_query($sql, $connexion2);
     // On boucle sur toute la table
    while($ligneMaster = mysql_fetch_assoc($resultats1)){

    Ensuite il y a une connexion sur ma base esclave et on y insère tout ce qui a été trouvé dans la requète précédente.
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    // on insert dans le slave les données de la ligne du master
    		$sql2 = 'INSERT INTO gghf_rando (no,annee,rando,id, nom, prenom, rue, code, postal,newid,tombola) VALUES ( "'.$ligneMaster['no'].'","'.$ligneMaster['annee'].'",  "'.$ligneMaster['rando'].'",  "'.$ligneMaster['id'].'","'.$ligneMaster['nom'].'","'.$ligneMaster['prenom'].'","'.$ligneMaster['rue'].'","'.$ligneMaster['code'].'","'.$ligneMaster['postal'].'","'.$ligneMaster['newid'].'","'.$ligneMaster['tombola'].'"  )';
    		$resultats2 = mysql_query($sql2, $connexion1);

    Dans les logs de ma base esclave, je vois qu'il a effectué toute une série d'insert les uns à la suite des autres.

    C'est ces insertions successives que je voudrais modifier à une seule si c'est possible.

    Dans ce que tu me suggères, je ne vois pas la différence par rapport à ce que j'ai déjà puisque je fais
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    INSERT INTO gghf_rando (no,annee,rando,id, nom, prenom, rue, code, postal,newid,tombola) VALUES ( "'.$ligneMaster['no'].'","'.$ligneMaster['annee'].'",  "'.$ligneMaster['rando'].'",  "'.$ligneMaster['id'].'","'.$ligneMaster['nom'].'","'.$ligneMaster['prenom'].'","'.$ligneMaster['rue'].'","'.$ligneMaster['code'].'","'.$ligneMaster['postal'].'","'.$ligneMaster['newid'].'","'.$ligneMaster['tombola'].'"  )';
    Peux-tu m'éclairer svp.

  4. #4
    Expert éminent sénior
    Avatar de rawsrc
    Homme Profil pro
    Dev indep
    Inscrit en
    Mars 2004
    Messages
    6 142
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 47
    Localisation : France, Bouches du Rhône (Provence Alpes Côte d'Azur)

    Informations professionnelles :
    Activité : Dev indep

    Informations forums :
    Inscription : Mars 2004
    Messages : 6 142
    Points : 16 545
    Points
    16 545
    Billets dans le blog
    12
    Par défaut
    Quelque chose comme ça :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    $data = array();
    while ($row = mysql_fetch_assoc($resultats1))
    {
        // on échappe les données
        $clean  = array_map('mysql_real_escape_string', $row);
        $data[] = <<<SQL
    ('{$clean['no']}', {$clean['annee']}', '{$clean['rando']}', '{$clean['id']}',
     '{$clean['nom']}', '{$clean['prenom']}', '{$clean['rue']}', '{$clean['code']}',
     '{$clean['postal']}', '{$clean['newid']}', '{$clean['tombola']}')
    SQL;
    }
     
    $sql        = 'INSERT INTO gghf_rando (no, annee, rando, id, nom, prenom, rue, code, postal, newid, tombola) VALUES '.implode(', ', $data); 
    $resultats2 = mysql_query($sql2, $connexion1);
    Tu n'as bien qu'une seule insertion

  5. #5
    Membre habitué Avatar de legrandse
    Homme Profil pro
    Responsable de service informatique
    Inscrit en
    Décembre 2010
    Messages
    350
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Belgique

    Informations professionnelles :
    Activité : Responsable de service informatique

    Informations forums :
    Inscription : Décembre 2010
    Messages : 350
    Points : 149
    Points
    149
    Par défaut
    Je te remercie beaucoup pour ton aide.

    Malheureusement la requête ne donne pas de résultats mais il n'y a pas d'erreur non plus.

    Le array est bien rempli car me donne des résultats. Il reste plus que du côté de l'insertion a regarder ce qui ne fonctionne pas.

    Voici la requête:
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    $sql= "SELECT * FROM gghf_rando WHERE sid > '$datesync'";
    $resultats1 = mysql_query($sql, $connexion2);
     // On boucle sur toute la table
    $data = array();
     
    while ($row = mysql_fetch_assoc($resultats1))
    {
        // on échappe les données
        $clean  = array_map('mysql_real_escape_string', $row);
        $data[] = <<<SQL
    ({$clean['no']}, {$clean['annee']}, {$clean['rando']}, {$clean['id']},
     {$clean['nom']}, {$clean['prenom']}, {$clean['rue']}, {$clean['code']},
     {$clean['postal']}, {$clean['newid']}, {$clean['tombola']})
    SQL;
    }
     
    $sql2        = 'INSERT INTO gghf_rando (no, annee, rando, id, nom, prenom, rue, code, postal, newid, tombola) VALUES '.implode(', ', $data); 
    $resultats2 = mysql_query($sql2, $connexion1);

  6. #6
    Expert éminent sénior
    Avatar de rawsrc
    Homme Profil pro
    Dev indep
    Inscrit en
    Mars 2004
    Messages
    6 142
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 47
    Localisation : France, Bouches du Rhône (Provence Alpes Côte d'Azur)

    Informations professionnelles :
    Activité : Dev indep

    Informations forums :
    Inscription : Mars 2004
    Messages : 6 142
    Points : 16 545
    Points
    16 545
    Billets dans le blog
    12
    Par défaut
    Salut,

    Pour les erreurs mets ça au début du script :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    ini_set('display_errors', true);
    ini_set('display_startup_errors', true);
    error_reporting(E_ALL);
    Ensuite reprends mon code textuellement avec les ' ' autour des valeurs. D'ailleurs j'avais fait une boulette (j'avais oublié un ')
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    $data[] = <<<SQL
    ('{$clean['no']}', '{$clean['annee']}', '{$clean['rando']}', '{$clean['id']}',
     '{$clean['nom']}', '{$clean['prenom']}', '{$clean['rue']}', '{$clean['code']}',
     '{$clean['postal']}', '{$clean['newid']}', '{$clean['tombola']}')
    SQL;

  7. #7
    Membre habitué Avatar de legrandse
    Homme Profil pro
    Responsable de service informatique
    Inscrit en
    Décembre 2010
    Messages
    350
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Belgique

    Informations professionnelles :
    Activité : Responsable de service informatique

    Informations forums :
    Inscription : Décembre 2010
    Messages : 350
    Points : 149
    Points
    149
    Par défaut
    Super çà marche nickel !

    Je te remercie encore une fois pour ton aide.

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. [MySQL] Mon script de synchro entre 2 bases ne fonctionne qu'à moitié
    Par legrandse dans le forum PHP & Base de données
    Réponses: 2
    Dernier message: 19/06/2013, 16h21
  2. [Flex3] Synchro entre DATAGRID et base de données en HTTPService
    Par feuxxx dans le forum Flex
    Réponses: 1
    Dernier message: 13/04/2012, 14h24
  3. Réponses: 4
    Dernier message: 09/12/2010, 13h34
  4. liaison entre plusieurs base de donnee
    Par GMI dans le forum Bases de données
    Réponses: 1
    Dernier message: 15/12/2004, 18h42
  5. DTS erreur pendant transfert entre 2 bases
    Par jc2 dans le forum MS SQL Server
    Réponses: 4
    Dernier message: 23/11/2004, 15h31

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo