Problème performance sur une jointure

[chicken92000]

Bonjour,

J'ai un problème de performance (plus de 10 minutes) sur une jointure, et je pense que ma super optimisé mais la je n'ai plus vraiment d'idée

Code :

1
2
3
4
SELECT w.ID1,  t.ID2, CONVERT(DATE, t.Date) AS Date, COUNT(*) AS Number
FROM TABLE1 w
LEFT JOIN TABLE2 t ON w.ID=t.SendingParticipant
GROUP BY t.ID2, CONVERT(DATE, t.Date), w.ID

En sachant que table 1 j'ai à peu près 35000 records
Et dans la table 2 j'ai 3,000,000 de records

En sachant si je fais uniquement le requête ci-dessous cela me retourne 2979 records en moins de 2 secondes

Code :

1
2
3
SELECT ID2, CONVERT(DATE, Date) AS Date, COUNT(*) AS Number
FROM TABLE2
GROUP BY ID2, CONVERT(DATE, Date)

Et si je fais je fais cette requête sur la table 1 cela me retourne 183 records en moins de 2 secondes. Et en sachant que tous les ID1=ID2 exception faites de 4 ou 5 qui ne sont présent que dans la table1

Code :

SELECT DISTINCT(ID1) FROM table1

Voila si quelqu'un peut m'aider j'apprécierai beaucoup.

Merci par avance.

David

[tatayo]

Bonjour,
Quel SGBD ?
Quel est le plan d'execution ?
Est-ce qu'on peut voir la définition de tes tables, et de indexes ?

Tatayo.

[al1_24]

Première question à se poser : y a-t-il un index sur les colonnes utilisées dans la jointure pour chacune des tables ?

[chicken92000]

je suis sur SQL Server 2008.

Sinon au niveau des index aucun sur la table2 (3 millions de records) et un
index sur la table1 sur ID1 et sur d'autres champs que je n'utilise pas sur la requête.

J'ai fait le choix de ne pas mettre d'index sur la table2 pour des questions de performance lors de l'insertion cela à un sens ?

Pour vous envoyer le plan d'exécution comment je fais?

Merci

David

[punkoff]

Votre table2 est une table de travail ?

Si ca n'est pas le cas, quelques index dessus seront les bienvenus.

Si c'est effectivement une table de travail, des tests pour savoir ce que vous coute un index lors du vidage / remplissage de celle-ci me sembleraient plus judicieux que de partir tout de suite sur le postulat : un seul index va me foutre en l'air les perfs

[CinePhil]

Pas d'index sur 3 millions de lignes = requêtes en lecture très lentes !

Avec SQL Server, je ne pense pas qu'il y ait de gros problèmes avec les insertions à cause des index, même avec 3 millions de lignes. Au pire, tu peux désactiver temporairement les index lors des insertions et les réactiver après.

[chicken92000]

Je pense que je me complique un peu trop, car après réflexion je ne pense pas qu'il soit nécessaire d’utiliser une autre table.

La structure de ma table est la suivante

Entite1 Entite2 Date Valeurs
Toto Tata 01/01/2011 300
Tete Toto 01/01/2011 600
Toto Tete 01/01/2011 250

je souhaiterai avoir comme résultat de ma requête

Entite Date Valeurs
Toto 01/01/2011 550
Tete 01/01/2011 600
Tata 01/01/2011 0

Merci

David

[Waldar]

Votre exemple n'est probablement pas suffisamment précis pour répondre à tous les cas de figure, néanmoins voici une base de départ :

Code :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
WITH MaTable (Entite1, Entite2, Date, Valeurs) AS -- Vos données
(
SELECT 'Toto', 'Tata', '01/01/2011', 300 union ALL
SELECT 'Tete', 'Toto', '01/01/2011', 600 union ALL
SELECT 'Toto', 'Tete', '01/01/2011', 250
)
  ,  SR (Entite, Date) AS
(
SELECT Entite1, Date FROM MaTable
 union
SELECT Entite2, Date FROM MaTable
)
  SELECT SR.Entite, SR.Date, coalesce(sum(MT.Valeurs), 0) AS Valeurs
    FROM SR
         LEFT OUTER JOIN MaTable AS MT
           ON MT.Entite1 = SR.Entite
          AND MT.Date    = SR.Date
GROUP BY SR.Entite, SR.Date
 
Entite Date       Valeurs
------ ---------- -----------
Tata   01/01/2011 0
Tete   01/01/2011 600
Toto   01/01/2011 550

[chicken92000]

Merci Fabien pour ta réponse désolé mais je ne comprends pas très bien la 1ère partie de ton code.

Code :

1
2
3
4
5
6
7
WITH MaTable (Entite1, Entite2, Date, Valeurs) AS -- Vos données
(
SELECT 'Toto', 'Tata', '01/01/2011', 300 union ALL
SELECT 'Tete', 'Toto', '01/01/2011', 600 union ALL
SELECT 'Toto', 'Tete', '01/01/2011', 250
)
  ,  SR (Entite, Date) AS

David

[SQLpro]

Envoyé par chicken92000

Sinon au niveau des indexe aucunes sur la table2 (3 millions de records) et un
indexe sur la table1 sur ID1 et sur d'autres champs que je n'utilise pas sur la requête.

J'ai fait le choix de ne pas mettre d'index sur la table2 pour des questions de performance lors de l'insertion cela à un sens ?

Désolé de le dire aussi crument, mais c'est d'une haute stupidité !
En effet les index sont nécessaire aussi bien pour les lecture que pour les écritures !!! En effet tout ordre SQL d'écriture commence par une lecture positionnelle pour savoir ou insérer. Sans index vous faites donc une lecture complete de la table à chaque insertion !!!!

On se demande parfois ou les gens vont pêcher de telles imbécilités comme mettre des index c'est mal...
Que serait une SGBDR sans index ni contraintes ? Un simple fichier Cobol !!!!

Maintenant sur l'indexation de ces tables , faites ceci :

Code :

ALTER TABLE TABLE2 ADD CONSTRAINT PK PRIMARY KEY (ID2);

si cela ne passe pas :

Code :

CREATE UNIQUE CLUSTERED INDEX X_21 ON TABLE2 (ID2)

SI cela ne passe toujours pas :

Code :

CREATE CLUSTERED INDEX X_21 ON TABLE2 (ID2)

et enfin :

Code :

CREATE INDEX X_22 ON TABLE2  (SendingParticipant, "Date")

A +

[chicken92000]

Bonjour,

Merci de votre réponse et désolé si mes question sont "très stupides" et de t'avoir énervé ...

Par rapport à tes suggestions, je ne pense pas pouvoir utiliser ces colonnes car les valeurs ne sont pas uniques.

David

[Waldar]

La première partie du code c'est simplement pour simuler votre jeu de données.

[iberserk]

Ton topic est'il résolu?