[PHP 5.3] Remplissage d'une table

Version imprimable

17/08/2011, 18h15
Benjamin Delespierre

[PHP 5.3] Remplissage d'une table

Bonjour à tous.

A des fins de tests de performances, j'ai écrit un script qui me permet de remplir une table MySQL (innoDB) avec des données aléatoires. Ce script prépare une requête d'insertion qui est exécutée 500.000x, or les insertions s'arrêtent au bout de 4096 lignes alors que le retour de PDOStatement::execute lui est toujours true...

J'ai vérifié l'algorithme de génération aléatoire et il n'y a pas de redondance, la table porte un index unique sur l'intégralité de ses champs (sauf la clé) mais la probabilité de générer un triplet existant est quasi-nulle.

Bref, je me retrouve devant un comportement que je n'ai jamais remarqué en production où il est courant de traiter des batchs de plusieurs dizaines de milliers de lignes...

Je précise que les tests se déroulent sur un environement WAMP avec MySQL 5.1, PHP 5.3 et Apache 2.2.

Avez-vous déjà rencontré ce problème ? D'où peut-il bien venir ?
17/08/2011, 18h39
stealth35

montre pour voir

Je me permet de masquer certaines données.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
set_time_limit(0);
define('NUM', 500 * 1000);
 
function generate_random_string ($maxlength = 10, $chars = "abcdefghijklmnopqrstuvwxyz0123456789") {
    $str = "";
    $c = strlen($chars) -1;
    do {
        $str .= $chars[mt_rand(0, $c)];
    } while (strlen($str) < $maxlength);
    return $str;
}
 
$pdo = new PDO('mysql:dbname=xxxxxxx;host=xxxxxxx', 'xxxxxxx', 'xxxxxxx');
$stmt = $pdo->prepare('REPLACE INTO `xxxxxxx` (`xxxxxxx`,`xxxxxxx`,`xxxxxxx`) VALUES (:xxxxxxx,:xxxxxxx,:xxxxxxx)');
 
$l = strlen((string)NUM);
for ($i = 0; $i < NUM; $i++) {
    $p = array(
    	'xxxxxxx' => generate_random_string(15, '123456789'),
        'xxxxxxx' => '+33' . generate_random_string(9, '0123456789'),
        'xxxxxxx' => generate_random_string(16, '0123456789')
    );
    $r = $stmt->execute($p);
    echo '[' . str_pad($i +1, $l, '0', STR_PAD_LEFT) . '/' . NUM . '] > Insert ' . $p['xxxxxxx'] . ':' . $p['xxxxxxx'] . ':' . $p['xxxxxxx'] . ' ' . ($r ? 'OK' : 'NOK') . "\n";
}
 
echo "Done.";

Exécuté en mode CLI.

Allez savoir pourquoi mais maintenant ça fonctionne depuis que j'ai remplacé l'usage de rand par mt_rand...

17/08/2011, 19h06
stealth35

t'as pas activé les erreurs pour PDO ?
17/08/2011, 19h13
Benjamin Delespierre

Alors, comme je l'ai mentionné, le fait de mieux générer mes phrases aléatoires m'a permi de résoudre le problème. Encore que je ne comprenne pas bien pourquoi la génération de 43 parmi 10 caractères ne permette que 4096 triplets en utilisant rand()...

Le souci c'est que je n'avais pas de message d'erreur, le retour de $stmt->execute était bien true à chaque fois - donc je suppose que les entrées étaient simplement écrasées et que c'est la génération aléatoire qui était en cause.
17/08/2011, 19h16
stealth35

si tu veux t'as openssl_random_pseudo_bytes, mais ca marche pas très bien (assez lent sous win)