Problème performance sur une jointure

Version imprimable

28/01/2011, 15h30
chicken92000

Problème performance sur une jointure
Bonjour,

J'ai un problème de performance (plus de 10 minutes) sur une jointure, et je pense que ma super optimisé mais la je n'ai plus vraiment d'idée
Code:

1 2 3 4 select w.ID1, t.ID2, CONVERT(DATE, t.Date) AS Date, COUNT(*) AS Number from TABLE1 w left join TABLE2 t on w.ID=t.SendingParticipant GROUP BY t.ID2, CONVERT(DATE, t.Date), w.ID
En sachant que table 1 j'ai à peu près 35000 records
Et dans la table 2 j'ai 3,000,000 de records

En sachant si je fais uniquement le requête ci-dessous cela me retourne 2979 records en moins de 2 secondes
Code:

1 2 3 SELECT ID2, CONVERT(DATE, Date) AS Date, COUNT(*) AS Number FROM TABLE2 GROUP BY ID2, CONVERT(DATE, Date)
Et si je fais je fais cette requête sur la table 1 cela me retourne 183 records en moins de 2 secondes. Et en sachant que tous les ID1=ID2 exception faites de 4 ou 5 qui ne sont présent que dans la table1

Code:

select distinct(ID1) from table1

Voila si quelqu'un peut m'aider j'apprécierai beaucoup.

Merci par avance.

David
28/01/2011, 15h42
tatayo

Bonjour,
Quel SGBD ?
Quel est le plan d'execution ?
Est-ce qu'on peut voir la définition de tes tables, et de indexes ?

Tatayo.
28/01/2011, 15h45
al1_24

Première question à se poser : y a-t-il un index sur les colonnes utilisées dans la jointure pour chacune des tables ?
28/01/2011, 16h40
chicken92000

je suis sur SQL Server 2008.

Sinon au niveau des index aucun sur la table2 (3 millions de records) et un
index sur la table1 sur ID1 et sur d'autres champs que je n'utilise pas sur la requête.

J'ai fait le choix de ne pas mettre d'index sur la table2 pour des questions de performance lors de l'insertion cela à un sens ?

Pour vous envoyer le plan d'exécution comment je fais?

Merci

David
28/01/2011, 17h01
punkoff

Votre table2 est une table de travail ?

Si ca n'est pas le cas, quelques index dessus seront les bienvenus.

Si c'est effectivement une table de travail, des tests pour savoir ce que vous coute un index lors du vidage / remplissage de celle-ci me sembleraient plus judicieux que de partir tout de suite sur le postulat : un seul index va me foutre en l'air les perfs
28/01/2011, 17h01
CinePhil

Pas d'index sur 3 millions de lignes = requêtes en lecture très lentes ! :aie:

Avec SQL Server, je ne pense pas qu'il y ait de gros problèmes avec les insertions à cause des index, même avec 3 millions de lignes. Au pire, tu peux désactiver temporairement les index lors des insertions et les réactiver après.
28/01/2011, 17h05
chicken92000

Je pense que je me complique un peu trop, car après réflexion je ne pense pas qu'il soit nécessaire d’utiliser une autre table.

La structure de ma table est la suivante

Entite1 Entite2 Date Valeurs
Toto Tata 01/01/2011 300
Tete Toto 01/01/2011 600
Toto Tete 01/01/2011 250

je souhaiterai avoir comme résultat de ma requête

Entite Date Valeurs
Toto 01/01/2011 550
Tete 01/01/2011 600
Tata 01/01/2011 0

Merci

David

Votre exemple n'est probablement pas suffisamment précis pour répondre à tous les cas de figure, néanmoins voici une base de départ :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
With MaTable (Entite1, Entite2, Date, Valeurs) as -- Vos données
(
select 'Toto', 'Tata', '01/01/2011', 300 union all
select 'Tete', 'Toto', '01/01/2011', 600 union all
select 'Toto', 'Tete', '01/01/2011', 250
)
  ,  SR (Entite, Date) as
(
select Entite1, Date from MaTable
 union
select Entite2, Date from MaTable
)
  select SR.Entite, SR.Date, coalesce(sum(MT.Valeurs), 0) as Valeurs
    from SR
         left outer join MaTable as MT
           on MT.Entite1 = SR.Entite
          AND MT.Date    = SR.Date
group by SR.Entite, SR.Date
 
Entite Date       Valeurs
------ ---------- -----------
Tata   01/01/2011 0
Tete   01/01/2011 600
Toto   01/01/2011 550

Merci Fabien pour ta réponse désolé mais je ne comprends pas très bien la 1ère partie de ton code.

Code:

1
2
3
4
5
6
7
WITH MaTable (Entite1, Entite2, Date, Valeurs) AS -- Vos données
(
SELECT 'Toto', 'Tata', '01/01/2011', 300 union ALL
SELECT 'Tete', 'Toto', '01/01/2011', 600 union ALL
SELECT 'Toto', 'Tete', '01/01/2011', 250
)
  ,  SR (Entite, Date) AS

David

28/01/2011, 23h31
SQLpro

Citation:

Envoyé par chicken92000

Sinon au niveau des indexe aucunes sur la table2 (3 millions de records) et un
indexe sur la table1 sur ID1 et sur d'autres champs que je n'utilise pas sur la requête.

J'ai fait le choix de ne pas mettre d'index sur la table2 pour des questions de performance lors de l'insertion cela à un sens ?

Désolé de le dire aussi crument, mais c'est d'une haute stupidité !
En effet les index sont nécessaire aussi bien pour les lecture que pour les écritures !!! En effet tout ordre SQL d'écriture commence par une lecture positionnelle pour savoir ou insérer. Sans index vous faites donc une lecture complete de la table à chaque insertion !!!!

On se demande parfois ou les gens vont pêcher de telles imbécilités comme mettre des index c'est mal...
Que serait une SGBDR sans index ni contraintes ? Un simple fichier Cobol !!!!

Maintenant sur l'indexation de ces tables , faites ceci :

Code:

ALTER TABLE TABLE2 ADD CONSTRAINT PK PRIMARY KEY (ID2);

si cela ne passe pas :

Code:

CREATE UNIQUE CLUSTERED INDEX X_21 ON TABLE2 (ID2)

SI cela ne passe toujours pas :

Code:

CREATE CLUSTERED INDEX X_21 ON TABLE2 (ID2)

et enfin :

Code:

CREATE INDEX X_22 ON TABLE2 (SendingParticipant, "Date")

A +
31/01/2011, 09h49
chicken92000

Bonjour,

Merci de votre réponse et désolé si mes question sont "très stupides" et de t'avoir énervé ...

Par rapport à tes suggestions, je ne pense pas pouvoir utiliser ces colonnes car les valeurs ne sont pas uniques.

David
31/01/2011, 09h58
Waldar

La première partie du code c'est simplement pour simuler votre jeu de données.
08/02/2011, 13h57
iberserk

Ton topic est'il résolu?