Discussion :

[tonton.odilon]

Bonjour,

J'ai récupéré les données dans un array ($dataDistant) d'une basse de donnée externe.

Ensuite, je vais mettre ces données dans une table d'une BDD interne.
Mais cet "array" ($dataDistant) est trop lourd qui contient 96899 entrées.

voici une partie de mon array obtenu :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
print_r($dataDistant )
/*
Array
(
    [0] => Array
        (
            [id] => 10000000
            [quantity] => 10
        )
 
    [1] => Array
        (
            [id] => 10000100
            [quantity] => 110
        )
 
    [2] => Array
        (
            [id] => 10000200
            [quantity] => 10
        )
//....
*/

Mais imaginez qu'il contient 96 899 entrées.
Comment peux - je diviser en plusieurs morceaux ?


En fait, avec cela je fais une requête préparée : voici un exemple de cette requête :

Array ( [requestSQL] => INSERT INTO db_local_product (id,quantity ) VALUES (:id,:quantity ); [insertValues] => Array ( [:id] => 10000000 [:quantity] => 10 ) )
Array ( [requestSQL] => INSERT INTO db_local_product (id,quantity ) VALUES (:id,:quantity ); [insertValues] => Array ( [:id] => 10000100 [:quantity] => 110 ) )
Array ( [requestSQL] => INSERT INTO db_local_product (id,quantity ) VALUES (:id,:quantity ); [insertValues] => Array ( [:id] => 10000200 [:quantity] => 10 ) )
etc...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
private function req(array $result)
{
	$funcRequestSQL = "INSERT INTO table_int_product (id,quantity )
			       VALUES (:id,:quantity );";
 
	$insertValues = [
		':id'=> $result['id'],
		':quantity'=> $result['quantity'],								
	];
	return $requestMySql = [
		'requestSQL' => $requestSQL,
		'insertValues' => $insertValues,
	];
}
 
 
//... $requetesDistant ... SELECT ....
 
print_r($dataDistant);
foreach($dataDistant as $result){
	foreach($result as $key=>$value){
		$requestMySql = $this-> funcRequestSQL($result);
 
	}
//... $conn ...
 try
        {
            $request = $conn->prepare($requestMySql['requestSQL']);
 
            $request->execute($requestMySql['insertValues']);
            $conn = null;
            return $status = "SUCCESSFULLY INSERTED ";
 
        }
        catch(\PDOException $e){
            self::errorSql ($e, $root, $storeSiteName, $systemName, $subject, $dbname); 
            $conn = null;
            throw $e;
        }

Comment je peux executer mon script pour qu'il n'y a pas de erreur d’espace dans la mémoire tampon et que la file d’attente soit saturée ?
Je pense que je dois diviser mon array ($dataDistant) mais comment ?

[tonton.odilon]

...
Je pense que je dois diviser mon array ($dataDistant) mais comment ?

Bonjour,
Je pense que je peux couper par la fonction de PHP : array_chunk
par chaque 1000 entrée donc,
c'est quelque chose comme cela :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

array_chunk($dataDistant, 1000)

Mais comment ?

[rawsrc]

Salut,

comme tu n'as que des valeurs numériques, j'opterais pour la simplicité :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
$parts = array_chunk($dataDistant, 10000, false);
 
foreach ($parts as $values) {
    $values = array_map(function($p) { return "({$p['id']},{$p['quantity']})"; }, $values);
    $sql    =  'INSERT INTO table_int_product (id, quantity) VALUES '.implode(',', $values);
    runSql($sql); // fonction qui exécute le code sql à ta convenance
}

[tonton.odilon]

Bonjour Rawsrc,
Ça marche et un grand merci.
C'est très intéressant : 'array_map' avec 'function'

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

array_map(function($p) { return "( {$p...)

Il faut que je comprenne un peu mieux donc il faut que je l'apprenne mieux (dans ma logique...) pour l'utiliser.


Une petite question puisque tu dis :

comme tu n'as que des valeurs numériques, j'opterais pour la simplicité :

Dans l'avenir s'il y a de valeurs non numériques ? Que l'on doit faire ?

Merci et bonne journée

[Celira]

On est un peu en train de passer à côté de l'intérêt des requêtes préparées, qui est justement d'exécuter plusieurs fois la même requête avec des données différentes. (*)
De plus, j'ai l'impression que tu fais la connexion à la base à l'intérieur de la boucle, ce qui est totalement inutile : une seule connexion peut faire toutes les insertions. Quand tu veux ranger 5 chemises dans ton placard, tu ne fermes pas le placard entre chaque chemise.

Donc :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
try {
    // on connecte à la base 
    $conn = include 'db_mysql.php'; // par exemple
 
 
    // on prépare une seule fois la requête : 
    $request = $conn->prepare("INSERT INTO table_int_product (id,quantity ) VALUES (:id,:quantity )");
 
    // on boucle sur les données à insérer
    foreach($dataDistant as $result){
         $request->execute([
            ':id'=> $result['id'],
            ':quantity'=> $result['quantity'],								
        ]);
    }    
}catch(\PDOException $e){
    self::errorSql ($e, $root, $storeSiteName, $systemName, $subject, $dbname); 
    $conn = null;
    throw $e;
}

(*)Non, les requêtes préparées ne sont pas faites pour échapper les valeurs, c'est juste un effet de bord intéressant et utile.

[tonton.odilon]

Bonjour Celira,
Excellente idée et un grand merci.
Ton idée va m'aider dans un cas similaire, mais un peut différent avec un "SELECT" et "fetch(PDO::FETCH_ASSOC)".

On est un peu en train de passer à côté de l'intérêt des requêtes préparées, qui est justement d'exécuter plusieurs fois la même requête avec des données différentes. (*)
De plus, j'ai l'impression que tu fais la connexion à la base à l'intérieur de la boucle, ce qui est totalement inutile : une seule connexion peut faire toutes les insertions.
Quand tu veux ranger 5 chemises dans ton placard, tu ne fermes pas le placard entre chaque chemise.

Tu es raison , quand je ne pense pas trop, on est fatigué en répétant la même geste inutile...

Bonne journée