Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Discussion :

Récupérer le différentiel de ligne depuis la veille


Sujet :

Requêtes MySQL

  1. #1
    Membre chevronné

    Profil pro
    Inscrit en
    janvier 2011
    Messages
    1 725
    Détails du profil
    Informations personnelles :
    Localisation : France, Nord (Nord Pas de Calais)

    Informations forums :
    Inscription : janvier 2011
    Messages : 1 725
    Points : 1 849
    Points
    1 849
    Par défaut Récupérer le différentiel de ligne depuis la veille
    Bonjour,

    J'ai une chaine de traitement SQL qui tourne via un ETL branché sur MYSQL 5.5.

    La donnée doit transiter d'une BDD en mode "archive" à un mode "relationnel".

    Dans la BDD 1 "archive" , chaque ligne a un id unique en clef primaire avec aussi en clef primaire : index + clef + clef unique les éléments qui permettent de dire "cette ligne est unique grace à la combinaison des champs XYZ".

    Pour notre exemple je me base sur un table contrat avec id ligne + numéro de contrat + date d'insertion de la ligne + statut du contrat.

    Entre aujourd'hui est hier 3 choix s'offrent à moi pour le différentiel :

    Cas 1 : avoir un système de calcul d'id a partir de la BDD 1 en calculant l'id max du jour et l'id max de de la veille ... Sachant qu'entre mes deux BDD les spécificités techniques imposent des id différents ... Il faut commencer à gérer une usine à gaz de 2 connexions entre 2 BDD sur 2 serveurs différents. Bref je vous laisse imaginer le cirque ...

    Cas 2 : utiliser le différentiel via les X dernières heures , au risque d'avoir une plage horaire trop importe ou pas assez (doublon ou données manquantes ... )

    Cas 3 : je fais un " select * " + filtre sur ce qui m’intéresse . J'ai donc "toutes" les données nouvelles + celles déjà intégrées . Avantage mon ETL peut filtrer et comparer si une combinaison de données est déjà présente , auquel cas il éjecte la ligne et n'injecte que celle pas encore présente en BDD d'arrivée.

    Le cas 3 permet d’éviter de gérer des filtres et un bordel sans nom au niveau des calculs de max .

    Selon vous quelle solution prendre ?

    Besoin de détail ?

    Merci de m'aiguiller

  2. #2
    Expert éminent
    Homme Profil pro
    Responsable Datas
    Inscrit en
    janvier 2009
    Messages
    3 932
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 45
    Localisation : France, Hérault (Languedoc Roussillon)

    Informations professionnelles :
    Activité : Responsable Datas

    Informations forums :
    Inscription : janvier 2009
    Messages : 3 932
    Points : 9 136
    Points
    9 136
    Par défaut
    Bonjour,
    J'ai une solution 4: un trigger sur la table dans la base source, qui ajoute un enregistrement dans une table "Ligne à traiter" avec la clé primaire de la ligne qui a déclenché le trigger.
    L'ETL a juste à lister cette table, traiter la ligne et supprimer l'enregistrement de la table "ligne à traiter".

    Tatayo.

  3. #3
    Membre chevronné

    Profil pro
    Inscrit en
    janvier 2011
    Messages
    1 725
    Détails du profil
    Informations personnelles :
    Localisation : France, Nord (Nord Pas de Calais)

    Informations forums :
    Inscription : janvier 2011
    Messages : 1 725
    Points : 1 849
    Points
    1 849
    Par défaut
    Citation Envoyé par tatayo Voir le message
    Bonjour,
    J'ai une solution 4: un trigger sur la table dans la base source, qui ajoute un enregistrement dans une table "Ligne à traiter" avec la clé primaire de la ligne qui a déclenché le trigger.
    L'ETL a juste à lister cette table, traiter la ligne et supprimer l'enregistrement de la table "ligne à traiter".

    Tatayo.
    Bonjour,

    Je dois malheureusement oublier l'idée 4 du trigger . En effet la base de départ ne donne que des droits de "lecture". Pas de create, pas de delete, pas d'alter table , ni d'insert , ni de temp table , ni de drop ...

  4. #4
    Membre chevronné

    Profil pro
    Inscrit en
    janvier 2011
    Messages
    1 725
    Détails du profil
    Informations personnelles :
    Localisation : France, Nord (Nord Pas de Calais)

    Informations forums :
    Inscription : janvier 2011
    Messages : 1 725
    Points : 1 849
    Points
    1 849
    Par défaut
    Bonsoir,

    Problème résolu. J'ai repris en urgence un code supplémentaire dans la base d'arrivé qui est l'id d'origine . Du coup je peu contrôler de max à max entre base en récupérant une seul valeur.

    Si l'id max de la bdd d'origine est supérieur à l'id max de la BDD d'arriver , la ligne passe. Sinon elle est éjectée.

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. Réponses: 1
    Dernier message: 17/12/2018, 13h06
  2. foreach, récupérer une ligne depuis le numéro de la cle
    Par Sergio_zero dans le forum PHP & Base de données
    Réponses: 23
    Dernier message: 02/05/2018, 19h23
  3. Récupérer les 4 lignes depuis la console
    Par bm dans le forum Général Python
    Réponses: 4
    Dernier message: 25/12/2014, 22h06
  4. Réponses: 2
    Dernier message: 25/10/2005, 10h51
  5. Réponses: 2
    Dernier message: 10/05/2005, 18h15

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo