Discussion :

[Ceubex]

Bonjour,

J'ai un soucis d'optimisation sur cette requête que j'execute 1000 fois avec des id_product différents (et il est impossible de faire autrement ou la boucle des id_product)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
SELECT A.id_produits_etrangers,A.id_associations,A.seuil_programmer,PE.prix,PE.id_concurrents
				FROM `associations` A ,`produits_etrangers` PE
				WHERE A.id_product='.$p['id_product'].' AND PE.id_produits_etrangers=A.id_produits_etrangers 
 GROUP BY A.id_associations,PE.id_produits_etrangers

PE.id_produits_etrangers et A.id_associations sont des clés primaires.
J'ai essayé de créer pas mal d'index, composés ou non. Ce qui marche le mieux c'est un index sur association (id_product,id_produits_etrangers). Ca me fait une requête qui prend 30 secondes.
Il faudrait arriver à quelques secondes.

J'utilise MySQL et rien que pour ce soucis je suis prêt à changer de SGBD s'il y a mieux. J'ai vu qu'avec MySQL on ne peut pas faire d'index entre deux tables différentes. C'est bien dommage. Voyez vous un moyen d'optimiser cette requête avec MySQL ou avec un autre SGBD ?

[sabotage]

Peut être déjà en écrivant la jointure correctement :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
SELECT A.id_produits_etrangers,A.id_associations,A.seuil_programmer,PE.prix,PE.id_concurrents
				FROM `associations` A JOIN `produits_etrangers` PE ON PE.id_produits_etrangers=A.id_produits_etrangers 
				WHERE A.id_product='.$p['id_product'].'
 GROUP BY A.id_associations,PE.id_produits_etrangers

Egalement ton groupement n'est pas correct : tu n'as pas de fonction d'aggregation (count, sum etc.).

Je n'ai pas compris si c'etait une requête qui prenait 30secondes ou les 1000 requêtes.
En tout cas executer 1000 fois la même requête est evidemment un gouffre de performance, même si tu utilisait une requête préparé.
Tu dis que c'est impossible de faire autrement, je ne vois pas pourquoi.

[Ceubex]

J'ai fait la modification et j'ai enlevé le group by mais ça n'a rien changé du tout. Je pense que ces écritures sont tout simplement équivalentes

[sabotage]

Pourquoi tu avais un GROUP BY ?

Les écritures ne sont pas équivalentes, l'une est correcte l'autre non.

Tu n'as pas répondu pour le temps d'éxecution ni sur ton impossibilité de faire une seule requête.

[Spartacusply]

J'en vois une de simple déjà d'optimisation, faire une seule requête qui remène tous les résultats d'un coup pour les 1000 produits :

Code sql :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
SELECT A.id_product,A.id_produits_etrangers,A.id_associations,A.seuil_programmer,PE.prix,PE.id_concurrents
				FROM `associations` A JOIN `produits_etrangers` PE ON PE.id_produits_etrangers=A.id_produits_etrangers 
				WHERE A.id_product IN (1,2,3,4....//bref la liste des 1000 id quoi)
 GROUP BY A.id_associations,PE.id_produits_etrangers,A.id_product

[rawsrc]

Salut,

L'approche du sieur Spartacusply est plutôt bonne. Par contre, il faut bien faire attention car sur une table volumineuse avec un IN (1, 2 ... 1000+) il peut y avoir un problème de performance dans la mesure où la clause IN est séquentielle.
Dans certains cas, il sera préférable de passer par une table temporaire indexée en mémoire (MEMORY) et de faire la jointure dessus.
Difficile d'être catégorique, il faut faire des essais en fonction de l'environnement de production.

[Ceubex]

Au final, j'ai essayé de mettre la boucles des 1000 objets dans ma requête SQL, déjà j'ai perdu des fonctionnalités et je n'ai gagné que 15% de perf... pas terrible
J'ai fini par mettre en place un système de pré-calcul qui execute la requête et la met dans une table à part

[Spartacusply]

Au final, j'ai essayé de mettre la boucles des 1000 objets dans ma requête SQL

C'est à dire que tu as essayé la technique que l'on t'as indiqué ?