jointure avec SSIS

[la_taxe]

Bonjour,

J'utilise depuis peu le module SSIS de MS SQL Server et je souhaiterais réaliser une jointure simple en langage sql, mais que je n'arrive pas a reproduire avec SSIS.

La table [FactDelivery] est la table qui est issue des transformations que j'ai réalisées auparavant et [FactContract] une autre table de la base de données..

Voici ma requête de base :

Code :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
SELECT 
	A1.*,
	A8.sk_ContractType,
	A8.am_Price
INTO 
	[FactDelivery1]
FROM 
	[FactDelivery] A1 LEFT JOIN 
	[FactContract] A8
	ON 
		A1.sk_Product=A8.sk_Product AND 
		A1.sk_Customer=A8.sk_Customer AND
		YEAR(A8.dt_StartDate)<=A1.no_Year AND
                MONTH(A8.dt_StartDate)<=A1.no_Month AND 
		YEAR(A8.dt_EndDate)>=A1.no_Year AND 
                MONTH(A8.dt_EndDate)>=A1.no_Month

Pour faire des jointures j'utilisais l'outil Lookup en faisant un mapping sur les variables.
Sauf que les conditions de jointure ne sont pas du même type. les variales ne doivent pas forcément être égales, mais inférieures a égale....
Je ne sais pas trop si je me fait bien comprendre, ce n'est pas facile a expliquer....
Merci en tout cas

[Ptit_Dje]

Faites comme si toutes vos jointures etaient des =.
Definissez votre composant lookup en partial cache.
Allez ensuite dans l'onglet advanced du composant et editez la query pour remplacer les = par des <= ou autre.

Je ne sais pas trop si j'ai repondu a votre question...

NB: normalement le forum SSIS c'est par ici

[Jinroh77]

C'est effectivement une des méthodes possible.
par contre, attention aux perfs dans ce cas. Sur une volumétrie importante, cela peut être très pénalisant.

L'autre possibilité est de faire une jointure FULL entre les 2 flux, puis d'utiliser le conditionnal split pour séparer les données selon les critères de jointures (>, <, etc.)
En cherchant un peu il y avait un billet qui parlait de cela.

[Ptit_Dje]

Envoyé par Jinroh77

C'est effectivement une des méthodes possible.
par contre, attention aux perfs dans ce cas. Sur une volumétrie importante, cela peut être très pénalisant.

L'autre possibilité est de faire une jointure FULL entre les 2 flux, puis d'utiliser le conditionnal split pour séparer les données selon les critères de jointures (>, <, etc.)
En cherchant un peu il y avait un billet qui parlait de cela.

Qu'entends tu par une jointure FULL ?

Dans ce cas (sans les conditions de jointure sur les dates):
SELECT
A1.*,
A8.sk_ContractType,
A8.am_Price
[FactDelivery1]
FROM
[FactDelivery] A1 LEFT JOIN
[FactContract] A8
ON
A1.sk_Product=A8.sk_Product and
A1.sk_Customer=A8.sk_Customer

et ensuite un conditional split sur l'output de ceci ?

[la_taxe]

Ok merci bien pour l'aide
J'ai réussi avec la méthode de Ptit_Dje
En effet, ca impact pas mal les performances... mais ca marche.

Dsl avoir posté dans le mauvais forum je n'avais pas vu la section SSIS.

[Jinroh77]

Pardon, plutôt qu'une jointure FULL, c'est un produit cartésien qu'il faut réaliser.
On a alors toutes les combinaisons possible, et de cela on ne conserve que celles vérifiant la condition de date.

Effectivement, cela fait beaucoup plus de données, mais SSIS fait cela totalement en mémoire.

Dans le cas du cache partiel, les accès à la base deviennent très fréquent alors que tout le but de SSIS est de travailler en mémoire.

[Ptit_Dje]

Hello Jinroh77,

Merci pour l'explication de cette technique.

Je pense cependant que realiser un cross join des 2 tables sera un peu trop exagere au niveau des possibilites remontees.

Par contre, effectuer dans un premier temps une jointure sur tous les champs devant etre egaux, permettra de remonter toute les lignes suffisantes en beneficiant du full cache (et donc bosser en memoire comme SSIS est cense faire ) pour ensuite effectuer un filtrage plus approfondi sur les criteres necessaires grace au conditional split et sur un nombre de lignes deja au prealable reduit.

Qu'en penses tu ?

[mikedavem]

Personnellement je ferais également comme Ptit_Dje. Une équi-jointure suivie (pour ne remonter en mémoire que le strict nécessaire) d'un conditonnal split.

++

[Jinroh77]

Effectivement,
Je viens de relire la requête et il y a une partie des champs qui se traitent sur une égalité. Il faut alors profiter du cache du Lookup

Ensuite, pour le reste, on utilise la montée en mémoire de SSIS.

Par contre, attention à avoir suffisamment de mémoire sur le serveur car si il commence à swapper c'est mauvais