Discussion :

[fwebconcept]

Bonjour,

je souhaite optimiser ma requête qui est assez lente.

note : je limite l'affichage a 10 ligne par page mais ça n'améliore guerre la vitesse d'affichage

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
SELECT DISTINCT  cbo_emploi.id_emploi, cbo_emploi_cv_contrat.nom AS nom_contrat, cbo_emploi.id_type_poste ,  LEFT(cbo_emploi.code_postal, 2) AS dep, LEFT(cbo_emploi.code_postal, 3) AS dep3, cbo_emploi.ville, cbo_emploi.code_postal, cbo_emploi.pays, cbo_emploi.date, cbo_emploi.date_modif,  cbo_emploi_type_poste.type_poste, cbo_emploi.verifie, cbo_membres_categories.nom_court AS categorie, cbo_emploi.categorie AS id_categorie, cbo_membres.categorie AS type_annonceur,  cbo_emploi_cv_duree_travail.nom AS temps_de_travail, a_partir_timestamp, fin_periode, cbo_emploi.contrat, base_CP.latitude, base_CP.longitude
 
 
            FROM cbo_emploi
 
            LEFT JOIN cbo_emploi_type_poste ON cbo_emploi_type_poste.id_poste_cat = cbo_emploi.id_type_poste
            LEFT JOIN cbo_emploi_cv_contrat ON cbo_emploi_cv_contrat.id=cbo_emploi.contrat
         LEFT JOIN  cbo_membres_categories ON cbo_membres_categories.id= cbo_emploi.categorie
         LEFT JOIN cbo_membres ON cbo_membres.id= cbo_emploi.id_mb_annonceur
         LEFT JOIN cbo_emploi_cv_duree_travail ON cbo_emploi_cv_duree_travail.id=cbo_emploi.duree_travail
 
         LEFT JOIN base_CP
  ON base_CP.INSEE = cbo_emploi.code_ville_insee
 AND base_CP.Libelle_acheminement = cbo_emploi.ville
 AND base_CP.Code_postal = cbo_emploi.code_postal
 
			 WHERE   cbo_emploi.id_rub='10'  AND  ( verifie = 1 OR verifie = 2 )

note la table base_CP contient le jeu de donnée de laposte : https://www.data.gouv.fr/fr/datasets...codes-postaux/

[al1_24]

Y a-t-il des index sur ces tables ? Si oui, sur quelles colonnes ?

[fwebconcept]

Bonsoir,


voici mes structures de table :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
CREATE TABLE `base_CP` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `INSEE` varchar(18) DEFAULT NULL,
  `Nom_commune` varchar(38) DEFAULT NULL,
  `Code_postal` varchar(11) DEFAULT NULL,
  `Libelle_acheminement` varchar(32) DEFAULT NULL,
  `Ligne_5` varchar(33) DEFAULT NULL,
  `latitude` varchar(30) NOT NULL,
  `longitude` varchar(30) NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=49825 DEFAULT CHARSET=utf8

Et voici mes index de la table cbo_emploi

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
` (
 
  PRIMARY KEY (`id_emploi`),
  UNIQUE KEY `id_emploi` (`id_emploi`),
  KEY `code_postal` (`code_postal`),
  KEY `contact` (`contact`),
  KEY `date` (`date`),
  KEY `email` (`email`),
  KEY `tel` (`tel`),
  KEY `titre` (`id_type_poste`),
  KEY `ville` (`ville`)
) ENGINE=MyISAM AUTO_INCREMENT=4515 DEFAULT CHARSET=latin1

[escartefigue]

Bonjour,

il faut communiquer les index de chacune des tables de votre requête

De plus, pourquoi avoir utilisé du varchar pour des attributs comme le code insee et le code postal ?!?
L'un comme l'autre devraient être de type char(5) vous y gagnerez déjà un poil en perfs, surtout que vous avez défini des index sur ces colonnes !

De même pour latitude et longitude, là vous n'avez pas d'index, mais le typage est aberrant.
Ce n'est pas pour rien que les SGBD proposent plusieurs types de données, il faut s'en servir

[skuatamad]

Idéalement il faudrait créer dans la table CBO_EMPLOI une colonne ID_BASE_CP et la clé étrangère associée qui référencera la colonne BASE_CP(ID).
C'est ce qui sera le plus performant pour accéder à la table BASE_CP.

En attendant vous pouvez créer l'index sur le triplet BASE_CP (base_CP.INSEE, base_CP.Libelle_acheminement, base_CP.Code_postal), mais l'accès sera moins performant qu'avec une clé.

Comme mentionné par escartefigue je pense que vous avez un peu loupé le copier/coller des infos de toutes les tables.

Vérifier si vous avez un index sur CBO_EMPLOI.ID_RUB et vérifier son type de données, si c'est un entier supprimé les quotes autour de 10.

[tbc92]

Décompose, avance par étapes.

Essaie cette requête :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
 
SELECT DISTINCT  cbo_emploi.id_emploi, cbo_emploi_cv_contrat.nom AS nom_contrat, cbo_emploi.id_type_poste , 
    LEFT(cbo_emploi.code_postal, 2) AS dep, LEFT(cbo_emploi.code_postal, 3) AS dep3, cbo_emploi.ville, cbo_emploi.code_postal, cbo_emploi.pays, 
    cbo_emploi.date, cbo_emploi.date_modif,  cbo_emploi_type_poste.type_poste, cbo_emploi.verifie, 
 
    cbo_emploi.categorie AS id_categorie,  
    cbo_emploi.contrat 
 
FROM cbo_emploi
     LEFT JOIN cbo_emploi_type_poste ON cbo_emploi_type_poste.id_poste_cat = cbo_emploi.id_type_poste
 
WHERE   cbo_emploi.id_rub='10'  AND  ( verifie = 1 OR verifie = 2 )

Puis celle-ci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
SELECT DISTINCT  cbo_emploi.id_emploi, cbo_emploi_cv_contrat.nom AS nom_contrat, cbo_emploi.id_type_poste , 
    LEFT(cbo_emploi.code_postal, 2) AS dep, LEFT(cbo_emploi.code_postal, 3) AS dep3, cbo_emploi.ville, cbo_emploi.code_postal, cbo_emploi.pays, 
    cbo_emploi.date, cbo_emploi.date_modif,  cbo_emploi_type_poste.type_poste, cbo_emploi.verifie, 
    cbo_membres_categories.nom_court AS categorie, 
    cbo_emploi.categorie AS id_categorie, cbo_membres.categorie AS type_annonceur, 
    a_partir_timestamp, fin_periode, cbo_emploi.contrat, 
    base_CP.latitude, base_CP.longitude
 
FROM cbo_emploi
     LEFT JOIN cbo_emploi_type_poste ON cbo_emploi_type_poste.id_poste_cat = cbo_emploi.id_type_poste
     LEFT JOIN cbo_emploi_cv_contrat ON cbo_emploi_cv_contrat.id=cbo_emploi.contrat
     LEFT JOIN  cbo_membres_categories ON cbo_membres_categories.id= cbo_emploi.categorie
 
WHERE   cbo_emploi.id_rub='10'  AND  ( verifie = 1 OR verifie = 2 )

Etc, etc, en ajoutant une table à chaque fois, et essaie de voir à quel moment les temps de réponse dérapent. Ca te permettra d'identifier la table coupable.

Par ailleurs, tu as ce "distinct". Distinct est une fonction "compliquée". Sans le distinct, est-ce que les temps de réponse sont corrects ?

Tu as mis ce "distinct" pour éliminer les doublons, mais c'est du cache-misère. Si tes données étaient correctes, tu n'aurais pas de doublons, tu pourrais te passer de ce "distinct".
Dans mon expérience, quand des utilisateurs utilisent Distinct dans une requête, 9 fois sur 10, c'est pour masquer une erreur de conception, et clairement, tu es dans ce cas.