UPDATE gros volume

Version imprimable

UPDATE gros volume

Bonjour,

Je suis confronter a un problème. j’espère que vous allez pouvoir m'aider a le résoudre.

J'ai :

1 Boutique en ligne
1 Base de donnée
280 000 références
100 000 images dont le nom correspond au références.

Pour afficher seulement les produits ou je détient les images, j'ai mis en place dans ma table une colonne "display" quand elle est égale a 1, la ligne est lu.

Je cherche une requête permettant de mettre a jour ma base de donnée et rendre égale la colonne "display" à 1

j'ai tenter : "

Code:

UPDATE catalogue SET display=1 WHERE id_article IN('xxx','xxx','xxx','xxx')

"

Je récupère la valeur de X, donc l’ensemble des fichiers, où je leurs soustrait l'extension avec une fonction PHP de cette façon :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 $dir = "./image/pieces/"; // si le dossier pointe existe if (is_dir($dir)) { // si il contient quelque chose if ($dh = opendir($dir)) { // boucler tant que quelque chose est trouve while (($file = readdir($dh)) !== false) { // affiche le nom et le type $file=substr($file,0,4) ; // ENLEVE L EXTENSION " .jpg " echo " ' ".$file." ' "; } // on ferme la connection closedir($dh); } }
Mais avec autant d'entrée (100 000) j'ai une erreur 2006 MYSQL HAS GONE AWAY, ce qui en sorte est tout a fait logique. Je n'est pas accès au configuration phpmyadmin, je suis en mutualiser chez ~~1and1~~.

Auriez vous une alternative?

Merci.

03/03/2015, 15h43
CinePhil

Ne pouvez-vous lancer la procédure par paquets de 10 ou 20 fichiers en mémorisant à chaque fois le dernier fichier traité ?
De toute façon, votre requête avec 100 000 références sera trop longue pour être traitée ; vous êtes obligé de la couper en morceaux.

Si c'est du one shot, vous pouvez d'ailleurs le faire avec 100 000 update et à chaque fois un fichier, donc mettre la requête UPDATE dans la boucle.
03/03/2015, 16h01
Simerca

Merci d'avoir repondu, traiter par lot de 10 sa me fait 10 000 operation manuel a effectué $$.

L idée de la boucle me parait plus interessante, mais il faudrai pouvoir aussi metre en boucle l'affichage des fichier non?
03/03/2015, 16h05
CinePhil

S'il s'agit seulement de mettre à jour la BDD pour les articles qui ont une image associée, pourquoi voulez-vous afficher ces fichiers ?
03/03/2015, 16h14
Yellu

Bonjour,

Une solution pourrait-être d'insérer vos X dans une table temporaire pendant le parsing récursif des répertoire.

Ensuite faire un seul UPDATE sur la table initiale par rapport à la table temporaire.
03/03/2015, 16h15
Simerca

Lors de l'affichage je " SELECT * FROM catalogue " sa me retourne ~200.000 lignes.
Néanmoin, je n'est que 100.000 images. Donc j'ai 100.000 articles sur mon site sans images.
03/03/2015, 16h26
CinePhil
J'ai peur que nous ne comprenions pas exactement votre besoin...

Ce que je comprends, c'est que vous avez un répertoire avec des fichiers d'images et que vous voulez mettre à jour la base de données pour que les articles correspondants soient mis en association avec les images. Et vous n'aurez à faire cette opération qu'une seule fois. Par la suite, si vous ajoutez des images, c'est l'interface de gestion de votre boutique en ligne qui s'occupera de l'association entre article et image.

La suggestion de Yellu est bonne : Avec votre procédure PHP, vous parsez le répertoire et stockez à la suite les identifiants des articles, obtenus à partir du nom des fichiers, dans un fichier texte délimité (type CSV). Ensuite vous importez ce CSV dans une table créée temporairement dans votre base de données. Il suffit ensuite de faire une requête UPDATE en une seule fois :
Code:

1 2 3 UPDATE catalogue c INNER JOIN temp t ON t.id = c.id_article SET c.display = 1
Après vous pouvez supprimer la table temporaire.

Vous avez trés bien compris mes besoins !

Vos 2 solutions fonctionne a merveille.

Voici celle que j'ai utiliser par sa simplicité, c'est la boucle, j'avait la reponse sous mon nez.
Lors de l'affichage des fichiers, j'insere ma requête dans le script comme ceci :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
$dir = "./image/pieces/";
//  si le dossier pieces existe
if (is_dir($dir)) {
 
   // si il contient quelque chose
   if ($dh = opendir($dir)) {
 
       // boucler tant que quelque chose est trouve
      while (($file = readdir($dh)) !== false) {
 
           // affiche le nom et le type
          if( $file != '.' && $file != '..') { // ON ENLEVE LA DESIGNATION DES SOUS REPERTOIRE SINON ERREUR DE SYNTHAX
 
		   $file=basename($file, '.jpg'); // ON SUPPRIME L EXTENSION
				try {
					global $bdd; //CONNEXION PDO
 
					$query=$bdd->query('UPDATE `catalogue` SET `display`=1 
										WHERE display=0 AND idarticle IN ("'.$file.'") ');
 
 
 
 
				}
 
				catch(PDOExeption $e)
				{
 
				}
 
		  }
	}
   // on ferme la connection
    closedir($dh);
   }
 }

J'ai également instancier mes valeurs et effectivement avec cette methode :

Code:

1
2
3
UPDATE catalogue c
INNER JOIN temp t ON t.id = c.id_article
SET c.display = 1

, cela fonctionne aussi a merveille.

Je vous remercie pour votre implication.

Idéalement ce serait le moment opportun d'utiliser une requête préparée pour optimiser les requêtes dans la boucle... par exemple :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
$dir = "./image/pieces/";
$erreurs = array();
//  si le dossier pieces existe
if (is_dir($dir)) 
{
	global $bdd;
	try 
	{
		$query = $bdd->prepare('UPDATE `catalogue` SET `display`=1 WHERE display=0 AND idarticle IN ( ? ) ');
		$query->bindParam(1, $basefile);
	}
	catch(PDOExeption $e)
	{
 		echo $e->getMessage();
	}
 
	$iterator = new DirectoryIterator($dir);
	foreach ($iterator as $fileinfo) 
	{
		if ($fileinfo->isFile())
		{
			$basefile = $fileinfo->getBasename('.jpg');
			try 
			{
				$query->execute();
			}
			catch(PDOExeption $e)
			{
				$erreurs[] = $e->getMessage();
			}
		}
	}
}