Requête trop lente

**bigs3232** · 02/05/2018, 20h51

bonjour
j'ai 3 niveau de catégories.
catégorie niveau 0,niveau 1 et niveau 2
j'ai des centaines de catégorie au niveau 1 et des milliers de categories au niveau 2
j'aimerais savoir comment ecrire autrement cette requete car j'ai des centaines de or pc.categories_id = et la requete ne semble pas du tout optimisée .c'est assez lent

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
where p.products_model REGEXP 'zz' and (pc.categories_id =1045 or pc.categories_id =1046 or pc.categories_id =1047 or pc.categories_id =1048 or pc.categories_id =1049 or pc.categories_id =1050 or pc.categories_id =1051 or pc.categories_id =1052 or pc.categories_id =1053 or pc.categories_id =1061 or pc.categories_id =1063 or pc.categories_id =90094 or pc.categories_id =90095 or pc.categories_id =90096 or pc.categories_id =90097 or pc.categories_id =90098 or pc.categories_id =90099 or pc.categories_id =90100 or pc.categories_id =90101 or pc.categories_id =90103 or pc.categories_id =90104 or pc.categories_id =90105 or pc.categories_id =90106 or pc.categories_id =90107 or pc.categories_id =90108

**al1_24** · 03/05/2018, 08h37

Pour simplifier l'écriture (et la lecture), tu pourrais utiliser l'opérateur IN (liste).
Quant à l'amélioration des temps de traitement, un index sur pc.categories_id serait peut-être utile, associé certainement à d'autres colonnes qui n'apparaissent pas pas dans l'extrait de requête que tu donnes.
Enfin l'expression p.products_model REGEXP 'zz' sera bien plus efficacement traité sous la forme p.products_model = 'zz'. Nul besoin d'expression régulière ici.

**bigs3232** · 03/05/2018, 08h52

c'est une bonne idée .voici la requete complète .pour simplifier la lecture du code j'ai enlevé pc.categories_id = car il y en a beaucoup
vous me proposez quoi comme requete

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
select * from products p left join products_description pd on p.products_id=pd.products_id left join products_to_categories pc on p.products_id = pc.products_id left join categories c on c.categories_id = pc.categories_id left join categories_description cd on cd.categories_id = pc.categories_id where p.products_model REGEXP 'mv[0-9\\.]+' or p.products_model_f REGEXP 'mv[0-9\\.]+' and (pc.categories_id =1045 or pc.categories_id =1046 or pc.categories_id =1047 or pc.categories_id =1048 or pc.categories_id =1049  or pc.categories_id =93105 or pc.categories_id =93106 or pc.categories_id =93107 or pc.categories_id =93108 or pc.categories_id =93109 or pc.categories_id =93110 or pc.categories_id =93111 or pc.categories_id =93112 or pc.categories_id =93124 or pc.categories_id =93125 or pc.categories_id =93126 or pc.categories_id =93127 or pc.categories_id =93128 or pc.categories_id =93129 or pc.categories_id =93130 or pc.categories_id =93131 or pc.categories_id =93132) and (p.codeF !=2 and p.codeF !=11 and p.codeF !=12 and p.codeF !=13) group by p.products_id order by p.products_model,c.parent_id asc

**bigs3232** · 03/05/2018, 09h12

il faut associer pc.categories_id à quelle colonne?

**escartefigue** · 03/05/2018, 09h24

Bonjour,

Votre requête est illisible, un peu de mise en forme vous aurait permis de remarquer que vous combinez des OR/AND dans la restriction sans mettre les parenthèses requises, le résultat ne sera certainement pas celui souhaité !
La liste à rallonge de valeurs possibles pour pc.categories_id pourait être avantageusement remplacée soit par in(liste) soit par une table dérivée
select * est à proscrire, surtout avec plusieurs tables en jointure

**bigs3232** · 03/05/2018, 09h36

que de bons conseils merci

**al1_24** · 03/05/2018, 10h24

En mettant un peu en forme ta requête, on arrive à ça :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
select  * 
from    products p 
    left join 
        products_description pd 
        on  p.products_id=pd.products_id 
    left join 
        products_to_categories pc 
        on  p.products_id = pc.products_id 
    left join 
        categories c 
        on  c.categories_id = pc.categories_id 
    left join 
        categories_description cd 
        on  cd.categories_id = pc.categories_id 
where   p.products_model REGEXP 'mv[0-9\\.]+' 
    or  p.products_model_f REGEXP 'mv[0-9\\.]+' 
    and pc.categories_id in (1045, 1046, 1047, 1048, 1049
        , 93105, 93106, 93107, 93108, 93109, 93110, 93111, 93112
        , 93124, 93125, 93126, 93127, 93128, 93129, 93130, 93131, 93132) 
    and p.codeF not in (2, 11, 12, 13) 
group by p.products_id 
order by p.products_model
    ,   c.parent_id asc

Ne serait-ce pas un peu plus lisible ?
Il ne fait pas avoir peur d'ajouter des sauts de lignes et des indentations dans une requête SQL. Ils n'ont aucun effet sur l'interprétation et l'exécution de la requête mais assurent une meilleure lisibilité.

Comme l'a fait justement remarquer escartefigue, la combinaison de AND et de OR sans parenthèses peut amène à un résultat qui ne sera sans doute pas celui escompté.
Voici la manière dont la condition est traitée. Est-ce bien celà ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
where   p.products_model REGEXP 'mv[0-9\\.]+' 
    or  (   p.products_model_f REGEXP 'mv[0-9\\.]+' 
        and pc.categories_id in (1045, 1046, 1047, 1048, 1049
            , 93105, 93106, 93107, 93108, 93109, 93110, 93111, 93112
            , 93124, 93125, 93126, 93127, 93128, 93129, 93130, 93131, 93132) 
        and p.codeF not in (2, 11, 12, 13)
        )

Dans le cas contraire, des parenthèses sont indispensables autour des condition REXEP.

Enfin, l'usage d'une restriction sur pc.categories dans la clause WHERE convertit de fait la jointure externe sur la table en jointure stricte.
Si ce n'est pas ce qui est attendu, il faudrait déplacer cette condition dans l'expression de jointure correspondante.

**bigs3232** · 03/05/2018, 10h57

Envoyé par escartefigue

select * est à proscrire, surtout avec plusieurs tables en jointure

pourquoi çà?

**CinePhil** · 03/05/2018, 11h00

Il vaut mieux éviter la guerre des étoiles !

**bigs3232** · 03/05/2018, 11h11

Envoyé par al1_24

Quant à l'amélioration des temps de traitement, un index sur pc.categories_id serait peut-être utile, associé certainement à d'autres colonnes

je dois faire quoi précisément

**CinePhil** · 03/05/2018, 11h21

Commencez par étudier le plan d'exécution de la requête à l'aide d'EXPLAIN.
Vous pouvez d'ailleurs nous donner le résultat et on vous donnera des pistes pour améliorer l'indexation de vos tables.

**bigs3232** · 03/05/2018, 11h57

voici le resultat d explain
Nom : 0img20.jpg
Affichages : 136
Taille : 67,3 Ko

**CinePhil** · 03/05/2018, 13h37

On voit donc que l'index p.codeF n'est pas utilisé et que la table p renvoie plus de 20 000 lignes. C'est probablement la cause de la lenteur de la requête.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
where   p.products_model REGEXP 'mv[0-9\\.]+' 
    or  (   p.products_model_f REGEXP 'mv[0-9\\.]+'

Je ne suis pas très calé en REGEXP mais si je comprends bien, vous cherchez ce qui commence par 'mv' puis un chiffre. Si tout ce qui commence par mv est toujours suivi d'un chiffre, peut-être que placer des index sur les colonnes p.products_model et p.products_model et utiliser LIKE dans votre condition de jointure améliorerait les choses :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
where   p.products_model LIKE 'mv%' 
    or  (   p.products_model_f LIKE 'mv%'

Mais vérifiez quand même que cela correspond bien à ce que vous cherchez et que cela n'altère pas le résultat obtenu.

**bigs3232** · 03/05/2018, 14h55

pour repondre à ali.c'est bien çà que je cherche

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

where   p.products_model REGEXP 'mv[0-9\\.]+' or  p.products_model_f REGEXP 'mv[0-9\\.]+'

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
where   p.products_model REGEXP 'mv[0-9\\.]+' or  p.products_model_f REGEXP 'mv[0-9\\.]+' 
        and pc.categories_id in (1045, 1046, 1047, 1048, 1049
            , 93105, 93106, 93107, 93108, 93109, 93110, 93111, 93112
            , 93124, 93125, 93126, 93127, 93128, 93129, 93130, 93131, 93132) 
        and p.codeF not in (2, 11, 12, 13)

**bigs3232** · 03/05/2018, 14h57

@cine
je prefere regex.c'est nettement plus complet

**CinePhil** · 03/05/2018, 15h43

Il ne s'agit pas de préférer mais de choisir la solution la plus efficiente !
REGEX entraînera la non utilisation d'un éventuel index.
Si un LIKE 'debut_du_texte%' donne le même résultat, c'est lui qu'il faut utiliser parce que le SGBD pourra utiliser l'index et ce sera plus performant.

**bigs3232** · 03/05/2018, 23h15

regex est nettement plus riche en terme de requete .je ne peux m'en passer

**SQLpro** · 04/05/2018, 10h40

Une fusée spatiale est nettement plus rapide... Donc, quand vous irez chercher votre paquet de clope au coin de la rue, pensez à y aller en fusée spatiale...

Au fait quel grand dialoguiste disait "Les cons, ça ose tout... C'est même à ça qu'on les reconnaît" ?

A +

**bigs3232** · 04/05/2018, 16h28

Envoyé par bigs3232

regex est nettement plus riche en terme de requete .je ne peux m'en passer

je ne parle pas de rapidité mais de possibilité de requete avec regex que like ne peut le faire .oui il me faut une fusée pour aller dans l'espace et pas un vélo.

Requête trop lente

Requêtes MySQL

Discussions similaires

Partager

Partager