Discussion :

[Bouga74]

Slt a tous,

Je dois traduire une requete par le biais de talend et je me pose la question de savoir si je me dirige dans la bonne direction .

Grosso modo, ma requete :

SELECT DISTINCT table1.champ1, table2.champ2, table3.champ3
FROM table1
INNER JOIN table2 ON (...)
INNER JOIN table3 ON (...)
INNER JOIN table4 ON (...)
WHERE NOT EXIST (
SELECT champ5 FROM table5 INNER JOIN table6 ON (...)
WHERE ...
)
AND (...)
)

Visible sur le schéma :
1 - Je fais mes jointures dans un tMap + les conditions dans le dernier AND (...) de ma requete
2 - je fais la jointure des tables 5 et 6 dans un autre tMap
3 - dans un troisième tMap, je fais une jointure interne entre mes 2 resultats obtenu a partir de mes 2 premier tMap
4 - je dois récupérer les enregistrements qui NE sorte PAS du tMap numéro 3


Plusieurs questions :
- Mon raisonnement vous semble-t-il juste ?
- Comment je peux l'améliorer ?

et la question bonus :
- Comment effectuer un DISTINCT sur une jointure a 4 tables ?

[Benoit_Durand]

Question bonus : vous pouvez mettre un tUniqRow après les tMap.

La volumétrie est importante ? (car ça risque de faire mal...)
Sinon le raisonnement me parait correct.

En cas de pb de performance il sera possible de sous traiter une partie du travail au sgbd.

cdt,

[Bouga74]

Merci pour la réponse.

Exact pour le tUniqRow, je savais pas si on pouvais le faire directement dans le tMap ou non.

Niveau volumétrie, entre 16000 et 150000 enregistrements par table .... mais au niveau des performances ca mets pas plus de 5 à 10 secondes quand je lance mon Job

[Benoit_Durand]

Juste un truc :
pour les clauses where, si elles sont du type maColonne='x', plutôt que de les mettre dans le tMap autant les mettre dans les tSGBDInputs pour retourner moins de lignes.

[Bouga74]

Ok merci,

pour le moment j'utilise des fichiers csv de tests donc j'essayerais ca le jour ou je dois me connecter à la base

[DevNico]

Petite remarque : comme le signal Hebus_Beer, il peut-être plus performant de faire bosser la base de donnée.
Et en dehors de certaines contraintes que tu as peut-être, ce serait bien plus facile pour toi de mettre direct ta requête dans le composant de lecture de la base de donnée ?

Nicolas

[Bouga74]

Merci.

Pour la solutions de mettre la requete directement en base, la ca risque d'être plus compliqué, je verrais si il y en a beoin ou pas le moment venu.

Par contre, je me suis peut etre avancé un peu vite sur la dernière étape.
En passant par un tMap, j'ai oublié que je ne peux pas récupéré les rejets (je fais juste une jointure interne entre mes table 5 et 6). Du coup je peux juste récupérer les enregistrements que je ne veux pas (qui correspondent a la clause "IN" et non "NOT IN").

Quelqu'un aurait-il une solution ?

[Bouga74]

J'avais oublié la fonction pour récupérer les enregistrements non compris par l'inner join (La fleche violette).

Merci pour vos réponses tout est ok !

A+