Discussion :

[morocoboy]

Bonjour a tous,

Ce message pour avoir votre avis sur les requetes externalisées.

Dans talend il est possible d'utiliser une variable de contexte pour stocker le texte d'une requete sql dans un fichier de parametres.
Cette variable de contexte peut etre utilisée par exemple dans le champ "requete" d'un toracleinput, qui l'executera alors sur la base ciblée.

Cela a comme avantage de ne pas avoir à modifier, recompiler et redeployer le job en cas d'ajout/modification du filtre where de la requete par exemple.
Ces operations doivent etre faites par contre si le select change, pour mettre a jour le shema du tbasededonnéeinput.

Est-ce que selon vous c'est une bonne pratique que de parametrer ainsi les requetes dans un fichier ?
L'inconvenient peut etre, est que toute personne qui a acces au fichier, peut lire les requetes jouées dans le job, voire meme les modifier, sans qu'on en ait trace.
Qu'en pensez vous ? Bonne pratique ou pas ?

Version utilisée: Talend TEDI 7.2.1

Merci par avance pour vos retours

[supergeoffrey]

Avantage :
_ Pas besoin de rebuilder ton job si tu modifie la requête

Désavantage :
_ La requête ne peut pas être dynamique
_ Quelqu'un qui ajoute une colonne dans la requête qui n'est pas dans ton schema pourrais te dire "J'ai ajouté la description dans la requête SQL mais je ne la vois pas dans le CSV"





______

Pour répondre à ton question ça dépends de ton usage.
Par expérience, j'ai déjà utilisé le context pour définir uniquement la clause "where" pour ne pas exporter toute une base base pour générer des fichiers de test, et cela évite de fait de ne pas avoir le deuxième désavantage.

[morocoboy]

Merci pour ton retour SuperGeoffrey.
Bien vu pour la clause where, je n'y avais pas pensé.

Dans notre cas, nous ne sommes pas nombreux a toucher aux jobs.
A priori externaliser les requetes ne devrait pas poser de probleme. Mais je vais retenir l'option du where que tu proposes.

[morocoboy]

Juste pour completer ce post à toute fin utile, pratique interessante pour un usage "en interne".

En mode projet avec des requetes correspondant a des données validées par le metier, c'est une pratique a eviter.

En effet une modification, meme accidentelle par toute personne ayant acces au fichier (qui ne sont pas forcement les memes que les pesonnes qui accedent aux jobs talend), aurait un effet sur la qualite des données traitées.
Cela avec le risque que cette anomalie ne soit pas vu de suite (le traitement continuera de tourner jusqu'a ce qu'un utilisateur s'apercoive de données en anomalie).

Dans ce cas il est plutot recommandé de laisser les requetes dans les jobs, qui ne seront modifiables que sur demande, par les developpeurs autorisés et de n'utiliser un fichier de parametres que pour des données techniques (connexion base, host ftp, ...).