IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

PHP & Base de données Discussion :

Accélération d'un ensemble de requêtes via Pdo


Sujet :

PHP & Base de données

  1. #1
    Nouveau membre du Club
    Profil pro
    Inscrit en
    Mai 2011
    Messages
    56
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Mai 2011
    Messages : 56
    Points : 38
    Points
    38
    Par défaut Accélération d'un ensemble de requêtes via Pdo
    Bonjour à tous,

    J'ai une tache Cron pour une application Web en php qui dure 30min en mysqli car il y'a beaucoup de ligne en base. En fouillant le net j'ai cru comprendre que l'utilisation de requêtes préparé permet d'accélérer le traitement, je suis donc passé sur du PDO avec des requêtes préparées et le traitement ne dure plus que 19min !

    Après vérification les données enregistrés semblent OK, mais j'aurais aimé avoir votre avis sur le principe de mon script, si j'ai rien oublié, ou si, il y'a des choses à revoir, car je ne maitrise pas encore PDO ^^, merci beaucoup


    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    53
    54
    55
    56
    57
    58
    59
    60
    61
    62
    63
    64
    65
    66
    67
    68
    69
    70
    71
    72
    73
    74
    75
    76
    77
    78
    79
    80
    81
    82
    83
    84
    85
    86
    87
    88
    89
    90
    91
    92
    93
    94
    95
    96
    $nomTableTemp = "test_".time();
     
    // PDO
    $conn = new conn;
    $pdo 	= $conn->newCon('');
     
    // req 1	
    $queryPos 	= "SELECT count(utilisateur_idutilisateur) FROM ".$nomTableTemp." WHERE rank BETWEEN :rangDebut AND :rangFin";
    $prep  	= $pdo->prepare($queryPos);
     
     
    $rangDebut;
    $rangFin;
     
    $prep->bindParam(':rangDebut', $rangDebut, PDO::PARAM_INT);
    $prep->bindParam(':rangFin', $rangFin, PDO::PARAM_INT);
     
    // REQ 2
    $queryPrime = "INSERT INTO table (val1,val2,val3,val4,val5,val6,val7,val8,val9,val10) 
    			VALUES (:val1,NOW(),0,NOW(),:val2,:val3,:val4,'',:val5,:val6)";
     
    $prepPrime	= $pdo->prepare($queryPrime);
     
    $val1;
    $val2;
    $val3;
    $val4;
    $val5;
    $val6;
     
    $prepPrime->bindParam(':val1', $val1, PDO::PARAM_INT);
    $prepPrime->bindParam(':val2', $val2, PDO::PARAM_STR);
    $prepPrime->bindParam(':val3', $val3, PDO::PARAM_INT);
    $prepPrime->bindParam(':val4', $val4, PDO::PARAM_INT);
    $prepPrime->bindParam(':val5', $val5, PDO::PARAM_STR);
    $prepPrime->bindParam(':val6', $val6, PDO::PARAM_STR);
     
    // Fin préparation requêtes
     
    // Création d'une table temporaire
    $query = "	CREATE TABLE ".$nomTableTemp." SELECT * FROM uneautreTable";
    $result = mysqli_query($link, $query) or die(mySqlMailError($query." ".mysqli_error($link)));
     
    $query  = "SELECT * FROM ".$nomTableTemp;
    $result = mysqli_query($link,$query ) or die(mySqlMailError($query." ".mysqli_error($link)));
     
    deconnexionV3($link);
     
     
    // Début d'un While sur 65000 enregistrement	
    while($dataMatrice = mysqli_fetch_array($result )){
     
    	// Creation des variables pour la requêtes préparé
    	$rangDebut = "un calcul";
    	$rangFin = "un autre calcul";     
     
        	// Execution de la première requête 
    	try{
    		$prep->execute();
    	    	if($prep->rowCount()==1){
    			$dataP = $prep->fetch();
    	  	}
    	} 
     
    	catch(PDOException $e){
    		$retour = FALSE;
    		exit('<b>Catched exception at line '. $e->getLine() .' :</b> '. $e->getMessage());
    	}
     
    	// Un controle de résultat de la requete préparé N1
    	if($dataP['valeur']!='0'){
     
    		try{
    			$prepPrime->execute();
    	     	} 
    	      	catch(PDOException $e){
    	          	exit('<b>Catched exception at line '. $e->getLine() .' :</b> '. $e->getMessage());
    	     	}
     
     
        	}// Fin controle valeur
     
     
    } // Fin du While
     
    $link 	  	= connexionV3('');
    $sqlDrop	= "DROP TABLE ".$nomTableTemp;
    $reqDrop 	= mysqli_query($link,$sqlDrop) or die(mySqlMailError($sqlDrop." ".mysqli_error($link)));
    deconnexionV3($link);
     
    //Clore la requête préparée
    $prep->closeCursor();
    unset($prep);
     
    $prepPrime->closeCursor();
    unset($prepPrime);

  2. #2
    Modérateur
    Avatar de sabotage
    Homme Profil pro
    Inscrit en
    Juillet 2005
    Messages
    29 208
    Détails du profil
    Informations personnelles :
    Sexe : Homme

    Informations forums :
    Inscription : Juillet 2005
    Messages : 29 208
    Points : 44 155
    Points
    44 155
    Par défaut
    Soit tu utilises mysqli (qui possède aussi les requêtes préparées) soit tu utilises PDO ; mais ne mélange pas les deux.

    Désactive l'émulation des préparations ; parce ce que là tu fais des choses impossibles comme préparer une requête dans une table qui n'existe pas.
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    $pdo->setAttribute( PDO::ATTR_EMULATE_PREPARES, false );
    N'oubliez pas de consulter les FAQ PHP et les cours et tutoriels PHP

  3. #3
    Nouveau membre du Club
    Profil pro
    Inscrit en
    Mai 2011
    Messages
    56
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Mai 2011
    Messages : 56
    Points : 38
    Points
    38
    Par défaut
    Merci pour ta réponse !

    Si j'applique ton code, cela annule les message d'erreur, alors j'ai préféré déplacer la préparation de la requêtes, en tous cas merci du conseil car je n'avais vraiment aucune idée de ca.

    Du coup j'ai enlever les trace des Mysqli, et j'ai également mis les traitement qui suivent les requêtes dans les try{}



    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    53
    54
    55
    56
    57
    58
    59
    60
    61
    62
    63
    64
    65
    66
    67
    68
    69
    70
    71
    72
    73
    74
    75
    76
    77
    78
    79
    80
    81
    82
    83
    84
    85
    86
    87
    88
    89
    90
    91
    92
    93
    94
    95
    96
    97
    98
    99
    100
    101
    102
    103
    104
    105
    106
    107
    108
    109
    110
    111
    112
    113
    114
    115
    116
    117
    118
    119
    120
    121
    122
    123
    124
    125
    126
    127
    128
    129
    130
     
    $nomTableTemp = "test_".time();
     
    // Connexion PDO
    $conn 	= new conn;
    $pdo 	= $conn->newCon('');
    //$pdo->setAttribute(PDO::ATTR_EMULATE_PREPARES, false );
     
     
    // Selection de tous les utilisateur de la matrice avec création des positions dans une table temporaire
    $queryTemp	= "	CREATE TABLE ".$nomTableTemp." 
    				SELECT REQUETE SUPER COMPLIQUE";
     
    $prepTemp = $pdo->exec($queryTemp);
     
    // Création des index pour accélération des calculs
    $queryOpti1 = "CREATE INDEX ind_idrank ON ".$nomTableTemp." (rank)";
    $queryOpti2 = "CREATE INDEX ind_idutil ON ".$nomTableTemp." (utilisateur_idutilisateur)";
     
    $pdo->exec($queryOpti1);
    $pdo->exec($queryOpti2);
     
     
     
    //****************************************
    // REQ 1    
    $queryPos 	= "SELECT count(utilisateur_idutilisateur) FROM ".$nomTableTemp." WHERE rank BETWEEN :rangDebut AND :rangFin";
    $prep  	= $pdo->prepare($queryPos);
     
    $nomTableTemp;
    $rangDebut;
    $rangFin;
     
    $prep->bindParam(':rangDebut', $rangDebut, PDO::PARAM_INT);
    $prep->bindParam(':rangFin', $rangFin, PDO::PARAM_INT);
     
    // REQ 2
    $queryPrime = "INSERT INTO table (val1,val2,val3,val4,val5,val6,val7,val8,val9,val10) 
    VALUES (:val1,NOW(),0,NOW(),:val2,:val3,:val4,'',:val5,:val6)";
     
    $prepPrime	= $pdo->prepare($queryPrime);
     
    $val1;
    $val2;
    $val3;
    $val4;
    $val5;
    $val6;
     
    $prepPrime->bindParam(':val1', $val1, PDO::PARAM_INT);
    $prepPrime->bindParam(':val2', $val2, PDO::PARAM_STR);
    $prepPrime->bindParam(':val3', $val3, PDO::PARAM_INT);
    $prepPrime->bindParam(':val4', $val4, PDO::PARAM_INT);
    $prepPrime->bindParam(':val5', $val5, PDO::PARAM_STR);
    $prepPrime->bindParam(':val6', $val6, PDO::PARAM_STR);
     
    // Fin préparation requêtes 
    //*************************
     
     
    // Selection des données dans la table temporaire
    $queryMatrice  	= "SELECT * FROM ".$nomTableTemp." ";
    $prepMatrice	= $pdo->prepare($queryMatrice);
    //$prepMatrice->bindParam(':table', $placeNiveau, PDO::PARAM_INT);
     
    try {
     
    	$prepMatrice->execute();
     
           while($dataMatrice = $prepMatrice->fetch(PDO::FETCH_ASSOC)){
    			// Creation des variables pour la requêtes préparé
    			$rangDebut = "un calcul";
    			$rangFin = "un autre calcul";     
     
    		    	// Execution de la première requête 
    			try{
    				$prep->execute();
    			    	if($prep->rowCount()==1){
    					$dataP = $prep->fetch();
    			  	}
    			} 
     
    			catch(PDOException $e){
    				$retour = FALSE;
    				exit('<b>Catched exception at line '. $e->getLine() .' :</b> '. $e->getMessage());
    			}
     
    			// Un controle de résultat de la requete préparé N1
    			if($dataP['valeur']!='0'){
     
    				try{
    					$prepPrime->execute();
    			     	} 
    			      	catch(PDOException $e){
    			          	exit('<b>Catched exception at line '. $e->getLine() .' :</b> '. $e->getMessage());
    			     	}
     
     
    		    	}// Fin contrôle valeur
    		} // Fin du While
    } 
    catch (PDOException $e){
      	exit('<b>Catched exception at line '. $e->getLine() .' :</b> '. $e->getMessage());
    }
    foreach($messages as $message){
    	echo '<p>Le ', $message->date, ' par ', $message->auteur, ' : <br />', $message->contenu, '</p>';
    }
     
    $queryDrop	= "DROP TABLE ".$nomTableTemp;
    $prepDrop  	= $pdo->prepare($queryDrop);
     
    try {
       $prepDrop->execute();
    } 
    catch (PDOException $e){
      	exit('<b>Catched exception at line '. $e->getLine() .' :</b> '. $e->getMessage());
    }
     
    //Clore la requête préparée
    $prepTemp->closeCursor();
    unset($prepTemp);
     
    $prepMatrice->closeCursor();
    unset($prepMatrice);
     
    $prep->closeCursor();
    unset($prep);
     
    $prepPrime->closeCursor();
    unset($prepPrime);

  4. #4
    Modérateur
    Avatar de sabotage
    Homme Profil pro
    Inscrit en
    Juillet 2005
    Messages
    29 208
    Détails du profil
    Informations personnelles :
    Sexe : Homme

    Informations forums :
    Inscription : Juillet 2005
    Messages : 29 208
    Points : 44 155
    Points
    44 155
    Par défaut
    C'est bizarre pour les erreurs. Essaie comme ça :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    $pdo->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);
    $pdo->setAttribute(PDO::ATTR_EMULATE_PREPARES, FALSE);
    N'oubliez pas de consulter les FAQ PHP et les cours et tutoriels PHP

  5. #5
    Nouveau membre du Club
    Profil pro
    Inscrit en
    Mai 2011
    Messages
    56
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Mai 2011
    Messages : 56
    Points : 38
    Points
    38
    Par défaut
    Merci, je vais essayer ca.

    Sinon pour le reste du code ca te correct ? Dans le déroulé je veux dire ?

    J'ai trouvé un moyen d'amélioré de manière impressionnante le temps de traitement en ajoutant des index à la table temporaire, sur les champs que j'utilise plus loin. Avec ca je passe sous la barre des 5min , pour environ 15000 lignes lu, puis 15000 select et enfin 15000 insert . C'est performant

  6. #6
    Membre émérite

    Profil pro
    Inscrit en
    Mai 2008
    Messages
    1 576
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Mai 2008
    Messages : 1 576
    Points : 2 440
    Points
    2 440
    Par défaut
    Mets des index partout, puis fais un EXPLAIN avec tes requêtes pour voir si les indexes sont bien utilisées.

    Si tu crée des tables temporaires, il est peut-être préférable d'utiliser le moteur MEMORY (si tu as assez de RAM).

    Est-ce que tes tables temporaires sont vraiment utiles? Ça peut vouloir indiquer un problème de conception. Qu'est-ce qui t'empêche par exemple de faire les traitements en PHP avant d'insérer les données dans la base?

  7. #7
    Nouveau membre du Club
    Profil pro
    Inscrit en
    Mai 2011
    Messages
    56
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Mai 2011
    Messages : 56
    Points : 38
    Points
    38
    Par défaut
    Quand tu dis partout, j'imagine que tu parle d'ajouter des index sur l'intégralité des champs ?

    Je vais essayer en ajoutant explain, merci pour l'astuce.

    Le serveur SQL n'a que 128mo de ram, quand il est en idle il tourne dans les 40/50 mo, quand je lance mon traitement monte à 80/90, je préfère garder une marge de sécurité, mais en fonction de la charge, c'est possible que je le passe à 256.

    Oui, ma table temporaire est vraiment utile, elle me permet de créer des colonnes supplémentaires (Avec notamment, la création d'un indicateur de position des enregistrements) qui seront utilisé lors des calculs utilisés par le script dont je parle dans ce topic.

  8. #8
    Membre émérite

    Profil pro
    Inscrit en
    Mai 2008
    Messages
    1 576
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Mai 2008
    Messages : 1 576
    Points : 2 440
    Points
    2 440
    Par défaut
    Non, pas sur tous les champs :-)

    En faisant un EXPLAIN sur toutes tes requêtes, tu verras quelles colonnes MySQL utilise à chaque fois. Mets un index sur ces colonnes.

    Tu peux également consulter le log slow query de MySQL (cherche sur google l'emplacement qui correspond à ton système).

    Est-ce que ton indicateur de position ne peut pas être calculé en PHP?

  9. #9
    Nouveau membre du Club
    Profil pro
    Inscrit en
    Mai 2011
    Messages
    56
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Mai 2011
    Messages : 56
    Points : 38
    Points
    38
    Par défaut
    Je me disais aussi que c'était bizarre de créer des index sur tous les champs.

    En utilisant l'explain, les resultats semblaient indiquer que l'index n'était pas correctement exploité, alors j'ai défini un index de type Unique, et là les données récupérées semblent corrects.


    Select_type :SIMPLE
    Table : temp
    Type : range
    possible_key : ind_idrank
    key : ind_idrank
    key_len : 8
    ref : NULL
    rows : 345
    Extra : Using where

    Je vais regarder ce que je trouve sur le Log Slow query.


    Pour ce qui est de la création du Rang en Php, oui, j'imagine que cela serai possible en php, mais sur le coup je m'étais dis que les requêtes était le plus Logique/simple et efficace, après c'est pas forcement vrai ^^.

  10. #10
    Membre émérite

    Profil pro
    Inscrit en
    Mai 2008
    Messages
    1 576
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Mai 2008
    Messages : 1 576
    Points : 2 440
    Points
    2 440
    Par défaut
    Fais-le en PHP puis regarde quel est le plus rapide. Peut-être que tu as raison, mais rien ne vaut l'expérimentation.

Discussions similaires

  1. [PDO] Requête préparée via PDO
    Par immat dans le forum PHP & Base de données
    Réponses: 8
    Dernier message: 15/10/2008, 14h01
  2. Comment effectuer des requêtes via ClientDataSat1 en client/serveur ?
    Par MaTHieU_ dans le forum Bases de données
    Réponses: 1
    Dernier message: 23/06/2006, 01h04
  3. Réponses: 1
    Dernier message: 16/06/2006, 15h34
  4. Réponses: 9
    Dernier message: 27/04/2006, 15h02
  5. Modification critére requête via formulaire
    Par frevale dans le forum Access
    Réponses: 1
    Dernier message: 02/11/2005, 21h30

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo