Discussion :

[tanaka59]

Bonjour,

J'ai une chaine de traitement SQL qui tourne via un ETL branché sur MYSQL 5.5.

La donnée doit transiter d'une BDD en mode "archive" à un mode "relationnel".

Dans la BDD 1 "archive" , chaque ligne a un id unique en clef primaire avec aussi en clef primaire : index + clef + clef unique les éléments qui permettent de dire "cette ligne est unique grace à la combinaison des champs XYZ".

Pour notre exemple je me base sur un table contrat avec id ligne + numéro de contrat + date d'insertion de la ligne + statut du contrat.

Entre aujourd'hui est hier 3 choix s'offrent à moi pour le différentiel :

Cas 1 : avoir un système de calcul d'id a partir de la BDD 1 en calculant l'id max du jour et l'id max de de la veille ... Sachant qu'entre mes deux BDD les spécificités techniques imposent des id différents ... Il faut commencer à gérer une usine à gaz de 2 connexions entre 2 BDD sur 2 serveurs différents. Bref je vous laisse imaginer le cirque ...

Cas 2 : utiliser le différentiel via les X dernières heures , au risque d'avoir une plage horaire trop importe ou pas assez (doublon ou données manquantes ... )

Cas 3 : je fais un " select * " + filtre sur ce qui m’intéresse . J'ai donc "toutes" les données nouvelles + celles déjà intégrées . Avantage mon ETL peut filtrer et comparer si une combinaison de données est déjà présente , auquel cas il éjecte la ligne et n'injecte que celle pas encore présente en BDD d'arrivée.

Le cas 3 permet d’éviter de gérer des filtres et un bordel sans nom au niveau des calculs de max .

Selon vous quelle solution prendre ?

Besoin de détail ?

Merci de m'aiguiller

[tatayo]

Bonjour,
J'ai une solution 4: un trigger sur la table dans la base source, qui ajoute un enregistrement dans une table "Ligne à traiter" avec la clé primaire de la ligne qui a déclenché le trigger.
L'ETL a juste à lister cette table, traiter la ligne et supprimer l'enregistrement de la table "ligne à traiter".

Tatayo.

[tanaka59]

Bonjour,
J'ai une solution 4: un trigger sur la table dans la base source, qui ajoute un enregistrement dans une table "Ligne à traiter" avec la clé primaire de la ligne qui a déclenché le trigger.
L'ETL a juste à lister cette table, traiter la ligne et supprimer l'enregistrement de la table "ligne à traiter".

Tatayo.

Bonjour,

Je dois malheureusement oublier l'idée 4 du trigger . En effet la base de départ ne donne que des droits de "lecture". Pas de create, pas de delete, pas d'alter table , ni d'insert , ni de temp table , ni de drop ...

[tanaka59]

Bonsoir,

Problème résolu. J'ai repris en urgence un code supplémentaire dans la base d'arrivé qui est l'id d'origine . Du coup je peu contrôler de max à max entre base en récupérant une seul valeur.

Si l'id max de la bdd d'origine est supérieur à l'id max de la BDD d'arriver , la ligne passe. Sinon elle est éjectée.