Discussion :

[Monstros Velu]

Bonjour,

j'ai des jointures qui reviennent souvent, et un lenteur excessive depuis la mise en place de ses jointures (mais on ne choisi pas les fichiers qu'on reçoit...)

Les 2 jointures en question sont les suivantes :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
from
	#tw_BSI_ToProcess tpr
		inner join #tw_duplicatedBSI dup
		on tpr.EMP_EAFBIRTHYEAR = dup.EMP_EAFBIRTHYEAR
			and tpr.EMP_LASTNAME = dup.EMP_LASTNAME
			and tpr.EMP_FIRSTNAME = dup.EMP_FIRSTNAME
			and tpr.EMP_COMMENT = dup.EMP_COMMENT
			and tpr.EMP_CUSTOMERCODE = dup.EMP_CUSTOMERCODE
			and tpr.CUS_CODECLIENT = dup.CUS_CODECLIENT

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
from
	#tw_BSI_ToProcess tpr
		inner join EMP_EMPLOYEE empParent
		on (tpr.CUS_IDPARENT = empParent.CUS_IDPARENT 
			and tpr.emp_customercode = empParent.emp_customercode)
 
			inner join EMP_EMPLOYEE empChild
			on (empChild.EMP_IDPARENT = empParent.emp_id
				and YEAR(empChild.EMP_BIRTHDATE)%100 = tpr.EMP_EAFBIRTHYEAR
				and empChild.EMP_LASTNAME = tpr.EMP_LASTNAME
				and empChild.EMP_FIRSTNAME = tpr.EMP_FIRSTNAME
				and empChild.EMP_COMMENT = 'customer code : ' + tpr.EMP_CUSTOMERCODE
				and empChild.EMP_CUSTOMERCODE = '')
			inner join CUS_CUSTOMER cusChild	
			on (empChild.CUS_IDPARENT = cusChild.CUS_ID
				and cusChild.CUS_CODECLIENT = tpr.CUS_CODECLIENT	)

La 2ème jointure est utilisée 4 fois, la 1ère 1 seul fois, dans la requête d'import (donc respectivement 800 et 200fois pour une fichier de 200 000lignes, puisqu'on traite des lots de 1000lignes... D'où mon besoin d'optimisation)

Je ne peux pas toucher aux tables EMP_EMPLOYEE et CUS_CUSTOMER. Par contre, les tables tpr et dup peuvent surement bénéficier d'index. Vaut-il mieux créer un index pour chaque colonne ? Un index avec tous les colonnes ? Un mix de l'ensemble ?
N'ayant pas d'expérience en ce domaine, je fais appel à la votre. Merci d'avance !

[Cybher]

salut,

il n'y a pas déjà moyen de simplifier la 1ère requête?
il faut vraiment vérifier toutes ces conditions?
car l'idéal serait d'indexer toutes les colonnes utilisées pour les jointures mais cela va commencer à faire beaucoup

[Monstros Velu]

Non, je dois vraiment vérifier toutes ces colonnes. Il n'y a pas de "clef" dans le fichier d'import, du coup, je dois retrouver les existants en appliquant cette règle...

[pacmann]

Salut !

Je n'ai pas forcément tout compris...
Une des tables de ta requête correspond aux données à intégrer ?
Si ce sont les jointures qui sont longues et exécutées beaucoup de fois, peux-tu envisager de remplir une table temporaire avec ?

Et petite question bonus : ton SGBD ?

[CinePhil]

Un coup d'oeil chez SQLPro pourrait sans doute t'aider à placer tes index.

Regarde notamment la notion d'index couvrant.

[Monstros Velu]

J'avais regardé, mais ça me semblait énorme de "couvrir" autant de colonnes.

J'ai créé 'index suivant :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
create index #tw_duplicatedBSI_global on #tw_duplicatedBSI (
				EMP_CUSTOMERCODE, 
				EMP_EAFBIRTHYEAR, 
				EMP_LASTNAME, 
				EMP_FIRSTNAME, 
				CUS_CODECLIENT)

J'ai du enlever EMP_COMMENT, car la colonne est un varchar(4000), et l'index est limité à 900 caratères. J'ai mis EMP_CUSTOMER en 1er, car il est utilisé sur d'autres requêtes : autant avoir a possibilité d'utiliser l'index pour celles-ci.

Je suis en train de tester pour vérifier que l'index fonctionne... J'en saurai plus demain, après avoir passé 2 ou 3 fichiers ^^ Si quelqu'un a d'autres suggestions, je suis tout ouïe ^^