Discussion :

[renaud26]

Bonjour à tous,

Et bien tout est presque dans le titre. Je précise.
J'ai écrit un petit script de sauvegarde de BDD qui lit les structures et les données des tables pour les écrire dans un fichier texte avec les DROP, CREATE et INSERT qui vont bien. Pour mon test, j'ai injecté 100 000 enregistrements dans une table, résultat, elle pèse 3 Mo.

Et je plante en max_time (alors que j'ai poussé mon serveur à 180 sec au lieu de 30). Voici la boucle incriminée :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
 
$tables = mysql_list_tables($base) or die(mysql_error());//on liste les tables
  while ($donnees = mysql_fetch_array($tables))
    {
    $table = $donnees[0];
    $res = mysql_query("SHOW CREATE TABLE $table") or die(mysql_error());
    if ($res)
      {
      $insertions = "";
	  $drop = "";
	  $drop .= "DROP TABLE IF EXISTS `$table`;\n";
	  fputs($F,$drop);
      $tableau = mysql_fetch_array($res);
	  ;
      $tableau[1] .= ";";
      $dumpsql[] = str_replace("\n", "", $tableau[1]);
      $req_table = mysql_query("SELECT * FROM $table");
      $nbr_champs = mysql_num_fields($req_table);
      while ($ligne = mysql_fetch_array($req_table))
        {
        $insertions .= "INSERT INTO $table VALUES(";
        for ($i=0; $i<=$nbr_champs-1; $i++)
          {
          $insertions .= "'" . mysql_real_escape_string($ligne[$i]) . "', ";
          }
        $insertions = substr($insertions, 0, -2);//ICI CA PLANTE !!!
	$insertions .= ");\n";
        }
      if ($insertions != "")
        {
        $dumpsql[] = $insertions;
        }
      }
   }

Donc ça plante sur cette instruction
$insertions = substr($insertions, 0, -2);
qui est destinée à virer les dernières virgules en bout de chaines.
J'ai testé avec une BDD de 800 Ko, ça passe comme une lettre à la poste.
Pas avec 3 Mo.
Est ce que quelqu'un aurait une idée quant à la façon d'optimiser cette requête pour qu'elle passe avec des grosses BDD ?
Merci d'avance.

[ThomasR]

Bonjour,

Ton script est assez propre, ca va être difficile de l'optimiser davantage.

Pourquoi ne pas utiliser un outil d'export comme le propose PhpMyAdmin ?

[renaud26]

Bonjour,

Merci pour ta réponse.
Je ne peux pas utiliser PhpMyadmin car c'est pour une application dans laquelle je propose aux membres de sauvegarder leur BDD depuis leur bureau virtuel.

Mais je comprends pas trop pourquoi la fonction substr plante, je ne lui demande que de supprimer un caractère...
C'est si gourmand que ça ?

[ThomasR]

Mais je comprends pas trop pourquoi la fonction substr plante, je ne lui demande que de supprimer un caractère...
C'est si gourmand que ça ?

Je ne comprends pas, substr plante ou alors tu as excèdes le temps d'execution ?

Si substr plante, quelle est l'erreur affichée (ou dans les logs) ?

[renaud26]

Je m'explique sans doute mal.
Ce n'est pas substr qui plante, mais bel et bien max_execution_time, que j'ai pourtant passé à 180 secondes au lieu de 30.
Je l'ai remis à 30, ce qui est à peu près le standard des params PHP.
Et bien sûr, c'est pire.

Je notre que si je vire cette instruction substr, les 3Mo de la sauvegarde s'écrivent en moins de 10 secondes. Bien sûr, le fichier sql généré n'est pas bon, puisque les INSERT ont cette forme :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
INSERT INTO matable ('1','toto','tata','toto@free.fr','toto',);

On voit que la virgule de fin va entraîner un plantage SQL si on veut réinsérer la base.
Mais cette expérience prouve que c'est bien substr qui entraîne le max_execution_time...

Alors je cherche un moyen moins gourmand pour nettoyer la fin de la chaîne.

[renaud26]

Bon, ben j'ai finalement trouvé une soluce, à la place de substr :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
 
 while ($ligne = mysql_fetch_array($req_table))
  {
   $insertions .= "INSERT INTO $table VALUES(";
    for ($i=0; $i<=$nbr_champs-1; $i++)
     {
	 if($i<$nbr_champs-1){
          $insertions .= "'" . mysql_real_escape_string($ligne[$i]) . "', ";
	  }else{
	  $insertions .= "'" . mysql_real_escape_string($ligne[$i]) . "'";
	  }
     }
 $insertions .= ");\n";
 }

Tant que le dernier champ n'est pas atteint, j'insère la virgule...
Et sinon, non.
Voili-voilou. Merci.