Accélération d'un ensemble de requêtes via Pdo

**Kontas** · 25/06/2015, 23h42

Bonjour à tous,

J'ai une tache Cron pour une application Web en php qui dure 30min en mysqli car il y'a beaucoup de ligne en base. En fouillant le net j'ai cru comprendre que l'utilisation de requêtes préparé permet d'accélérer le traitement, je suis donc passé sur du PDO avec des requêtes préparées et le traitement ne dure plus que 19min !

Après vérification les données enregistrés semblent OK, mais j'aurais aimé avoir votre avis sur le principe de mon script, si j'ai rien oublié, ou si, il y'a des choses à revoir, car je ne maitrise pas encore PDO ^^, merci beaucoup

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
$nomTableTemp = "test_".time();
 
// PDO
$conn = new conn;
$pdo 	= $conn->newCon('');
 
// req 1	
$queryPos 	= "SELECT count(utilisateur_idutilisateur) FROM ".$nomTableTemp." WHERE rank BETWEEN :rangDebut AND :rangFin";
$prep  	= $pdo->prepare($queryPos);
 
 
$rangDebut;
$rangFin;
 
$prep->bindParam(':rangDebut', $rangDebut, PDO::PARAM_INT);
$prep->bindParam(':rangFin', $rangFin, PDO::PARAM_INT);
 
// REQ 2
$queryPrime = "INSERT INTO table (val1,val2,val3,val4,val5,val6,val7,val8,val9,val10) 
			VALUES (:val1,NOW(),0,NOW(),:val2,:val3,:val4,'',:val5,:val6)";
 
$prepPrime	= $pdo->prepare($queryPrime);
 
$val1;
$val2;
$val3;
$val4;
$val5;
$val6;
 
$prepPrime->bindParam(':val1', $val1, PDO::PARAM_INT);
$prepPrime->bindParam(':val2', $val2, PDO::PARAM_STR);
$prepPrime->bindParam(':val3', $val3, PDO::PARAM_INT);
$prepPrime->bindParam(':val4', $val4, PDO::PARAM_INT);
$prepPrime->bindParam(':val5', $val5, PDO::PARAM_STR);
$prepPrime->bindParam(':val6', $val6, PDO::PARAM_STR);
 
// Fin préparation requêtes
 
// Création d'une table temporaire
$query = "	CREATE TABLE ".$nomTableTemp." SELECT * FROM uneautreTable";
$result = mysqli_query($link, $query) or die(mySqlMailError($query." ".mysqli_error($link)));
 
$query  = "SELECT * FROM ".$nomTableTemp;
$result = mysqli_query($link,$query ) or die(mySqlMailError($query." ".mysqli_error($link)));
 
deconnexionV3($link);
 
 
// Début d'un While sur 65000 enregistrement	
while($dataMatrice = mysqli_fetch_array($result )){
 
	// Creation des variables pour la requêtes préparé
	$rangDebut = "un calcul";
	$rangFin = "un autre calcul";     
 
    	// Execution de la première requête 
	try{
		$prep->execute();
	    	if($prep->rowCount()==1){
			$dataP = $prep->fetch();
	  	}
	} 
 
	catch(PDOException $e){
		$retour = FALSE;
		exit('<b>Catched exception at line '. $e->getLine() .' :</b> '. $e->getMessage());
	}
 
	// Un controle de résultat de la requete préparé N1
	if($dataP['valeur']!='0'){
 
		try{
			$prepPrime->execute();
	     	} 
	      	catch(PDOException $e){
	          	exit('<b>Catched exception at line '. $e->getLine() .' :</b> '. $e->getMessage());
	     	}
 
 
    	}// Fin controle valeur
 
 
} // Fin du While
 
$link 	  	= connexionV3('');
$sqlDrop	= "DROP TABLE ".$nomTableTemp;
$reqDrop 	= mysqli_query($link,$sqlDrop) or die(mySqlMailError($sqlDrop." ".mysqli_error($link)));
deconnexionV3($link);
 
//Clore la requête préparée
$prep->closeCursor();
unset($prep);
 
$prepPrime->closeCursor();
unset($prepPrime);

**sabotage** · 26/06/2015, 09h26

Soit tu utilises mysqli (qui possède aussi les requêtes préparées) soit tu utilises PDO ; mais ne mélange pas les deux.

Désactive l'émulation des préparations ; parce ce que là tu fais des choses impossibles comme préparer une requête dans une table qui n'existe pas.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$pdo->setAttribute( PDO::ATTR_EMULATE_PREPARES, false );

**Kontas** · 26/06/2015, 12h06

Merci pour ta réponse !

Si j'applique ton code, cela annule les message d'erreur, alors j'ai préféré déplacer la préparation de la requêtes, en tous cas merci du conseil car je n'avais vraiment aucune idée de ca.

Du coup j'ai enlever les trace des Mysqli, et j'ai également mis les traitement qui suivent les requêtes dans les try{}

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
 
$nomTableTemp = "test_".time();
 
// Connexion PDO
$conn 	= new conn;
$pdo 	= $conn->newCon('');
//$pdo->setAttribute(PDO::ATTR_EMULATE_PREPARES, false );
 
 
// Selection de tous les utilisateur de la matrice avec création des positions dans une table temporaire
$queryTemp	= "	CREATE TABLE ".$nomTableTemp." 
				SELECT REQUETE SUPER COMPLIQUE";
 
$prepTemp = $pdo->exec($queryTemp);
 
// Création des index pour accélération des calculs
$queryOpti1 = "CREATE INDEX ind_idrank ON ".$nomTableTemp." (rank)";
$queryOpti2 = "CREATE INDEX ind_idutil ON ".$nomTableTemp." (utilisateur_idutilisateur)";
 
$pdo->exec($queryOpti1);
$pdo->exec($queryOpti2);
 
 
 
//****************************************
// REQ 1    
$queryPos 	= "SELECT count(utilisateur_idutilisateur) FROM ".$nomTableTemp." WHERE rank BETWEEN :rangDebut AND :rangFin";
$prep  	= $pdo->prepare($queryPos);
 
$nomTableTemp;
$rangDebut;
$rangFin;
 
$prep->bindParam(':rangDebut', $rangDebut, PDO::PARAM_INT);
$prep->bindParam(':rangFin', $rangFin, PDO::PARAM_INT);
 
// REQ 2
$queryPrime = "INSERT INTO table (val1,val2,val3,val4,val5,val6,val7,val8,val9,val10) 
VALUES (:val1,NOW(),0,NOW(),:val2,:val3,:val4,'',:val5,:val6)";
 
$prepPrime	= $pdo->prepare($queryPrime);
 
$val1;
$val2;
$val3;
$val4;
$val5;
$val6;
 
$prepPrime->bindParam(':val1', $val1, PDO::PARAM_INT);
$prepPrime->bindParam(':val2', $val2, PDO::PARAM_STR);
$prepPrime->bindParam(':val3', $val3, PDO::PARAM_INT);
$prepPrime->bindParam(':val4', $val4, PDO::PARAM_INT);
$prepPrime->bindParam(':val5', $val5, PDO::PARAM_STR);
$prepPrime->bindParam(':val6', $val6, PDO::PARAM_STR);
 
// Fin préparation requêtes 
//*************************
 
 
// Selection des données dans la table temporaire
$queryMatrice  	= "SELECT * FROM ".$nomTableTemp." ";
$prepMatrice	= $pdo->prepare($queryMatrice);
//$prepMatrice->bindParam(':table', $placeNiveau, PDO::PARAM_INT);
 
try {
 
	$prepMatrice->execute();
 
       while($dataMatrice = $prepMatrice->fetch(PDO::FETCH_ASSOC)){
			// Creation des variables pour la requêtes préparé
			$rangDebut = "un calcul";
			$rangFin = "un autre calcul";     
 
		    	// Execution de la première requête 
			try{
				$prep->execute();
			    	if($prep->rowCount()==1){
					$dataP = $prep->fetch();
			  	}
			} 
 
			catch(PDOException $e){
				$retour = FALSE;
				exit('<b>Catched exception at line '. $e->getLine() .' :</b> '. $e->getMessage());
			}
 
			// Un controle de résultat de la requete préparé N1
			if($dataP['valeur']!='0'){
 
				try{
					$prepPrime->execute();
			     	} 
			      	catch(PDOException $e){
			          	exit('<b>Catched exception at line '. $e->getLine() .' :</b> '. $e->getMessage());
			     	}
 
 
		    	}// Fin contrôle valeur
		} // Fin du While
} 
catch (PDOException $e){
  	exit('<b>Catched exception at line '. $e->getLine() .' :</b> '. $e->getMessage());
}
foreach($messages as $message){
	echo '<p>Le ', $message->date, ' par ', $message->auteur, ' : <br />', $message->contenu, '</p>';
}
 
$queryDrop	= "DROP TABLE ".$nomTableTemp;
$prepDrop  	= $pdo->prepare($queryDrop);
 
try {
   $prepDrop->execute();
} 
catch (PDOException $e){
  	exit('<b>Catched exception at line '. $e->getLine() .' :</b> '. $e->getMessage());
}
 
//Clore la requête préparée
$prepTemp->closeCursor();
unset($prepTemp);
 
$prepMatrice->closeCursor();
unset($prepMatrice);
 
$prep->closeCursor();
unset($prep);
 
$prepPrime->closeCursor();
unset($prepPrime);

**sabotage** · 26/06/2015, 16h18

C'est bizarre pour les erreurs. Essaie comme ça :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
$pdo->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);
$pdo->setAttribute(PDO::ATTR_EMULATE_PREPARES, FALSE);

**Kontas** · 26/06/2015, 16h35

Merci, je vais essayer ca.

Sinon pour le reste du code ca te correct ? Dans le déroulé je veux dire ?

J'ai trouvé un moyen d'amélioré de manière impressionnante le temps de traitement en ajoutant des index à la table temporaire, sur les champs que j'utilise plus loin. Avec ca je passe sous la barre des 5min

, pour environ 15000 lignes lu, puis 15000 select et enfin 15000 insert

. C'est performant

**Tsilefy** · 27/06/2015, 00h35

Mets des index partout, puis fais un EXPLAIN avec tes requêtes pour voir si les indexes sont bien utilisées.

Si tu crée des tables temporaires, il est peut-être préférable d'utiliser le moteur MEMORY (si tu as assez de RAM).

Est-ce que tes tables temporaires sont vraiment utiles? Ça peut vouloir indiquer un problème de conception. Qu'est-ce qui t'empêche par exemple de faire les traitements en PHP avant d'insérer les données dans la base?

Accélération d'un ensemble de requêtes via Pdo

PHP & Base de données

Vue hybride

Discussions similaires

Partager

Partager