Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Alimentation Discussion :

ETL, temp table vs Staging table


Sujet :

Alimentation

  1. #1
    Membre du Club
    Inscrit en
    mai 2004
    Messages
    153
    Détails du profil
    Informations forums :
    Inscription : mai 2004
    Messages : 153
    Points : 68
    Points
    68
    Par défaut ETL, temp table vs Staging table
    Salut à tous,

    Etant novice dans le demaine de l'informatique decisionnelle ,je me demandais s'il fallait lors d'une extraction-chargement proceder comme suit:

    table temp -> Staging -> DWH

    ou bien

    staging->DWH .

    Merci

  2. #2
    Membre éprouvé Avatar de Benoit_Durand
    Profil pro
    Consultant en Business Intelligence Freelance
    Inscrit en
    mars 2005
    Messages
    861
    Détails du profil
    Informations personnelles :
    Localisation : France, Gironde (Aquitaine)

    Informations professionnelles :
    Activité : Consultant en Business Intelligence Freelance

    Informations forums :
    Inscription : mars 2005
    Messages : 861
    Points : 1 261
    Points
    1 261
    Par défaut
    ou staging > temp > DWH
    Qu'est ce que vous pensez mettre dans vos tables temp ?
    Pensez à la fonction Recherche

  3. #3
    Membre régulier
    Homme Profil pro
    Auditeur informatique
    Inscrit en
    février 2012
    Messages
    131
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Auditeur informatique

    Informations forums :
    Inscription : février 2012
    Messages : 131
    Points : 107
    Points
    107
    Par défaut
    Au vu de son raisonnement, la table temp représenterai une copie de (des) sources système opérationnel. La staging serai la zone de transformation juste avant le chargement dans le DW. Il y a un conflit évident pour définir ces différentes étapes de toute manière. On parle souvent de ODS et (D)SA.

    Pour ma part, en grande ligne, je dirai que l’opérating Data Store comme son nom l’indique, contient des données opérationnelles, c’est à dire brutes. C’est donc la première étape en entrant dans un Data Warehouse, on y stocke les enregistrements de production lié à l’activité de l’entreprise utile au pilotage stratégique. LEs données opérationnelles ou brutes, une fois entrées, ne sont plus des données utile aux opérationnels mais aux décideurs, et sont donc appelées données décisionnelles.
    Après l’ODS vient le DSA, Data Staging Area où les données sont nettoyées, transformées et fusionnées pour établir une unité métier dans la multitude de fragments des bases de données opérationnelles captés par l’ODS. Ce qui donne la dernière étape le DW (ou data marts).

  4. #4
    Membre éprouvé Avatar de Benoit_Durand
    Profil pro
    Consultant en Business Intelligence Freelance
    Inscrit en
    mars 2005
    Messages
    861
    Détails du profil
    Informations personnelles :
    Localisation : France, Gironde (Aquitaine)

    Informations professionnelles :
    Activité : Consultant en Business Intelligence Freelance

    Informations forums :
    Inscription : mars 2005
    Messages : 861
    Points : 1 261
    Points
    1 261
    Par défaut
    Exactement
    Dit comme ça c'est clair.
    Pensez à la fonction Recherche

  5. #5
    Membre du Club
    Inscrit en
    mai 2004
    Messages
    153
    Détails du profil
    Informations forums :
    Inscription : mai 2004
    Messages : 153
    Points : 68
    Points
    68
    Par défaut
    Citation Envoyé par stylor Voir le message
    Au vu de son raisonnement, la table temp représenterai une copie de (des) sources système opérationnel. La staging serai la zone de transformation juste avant le chargement dans le DW. Il y a un conflit évident pour définir ces différentes étapes de toute manière. On parle souvent de ODS et (D)SA.

    Pour ma part, en grande ligne, je dirai que l’opérating Data Store comme son nom l’indique, contient des données opérationnelles, c’est à dire brutes. C’est donc la première étape en entrant dans un Data Warehouse, on y stocke les enregistrements de production lié à l’activité de l’entreprise utile au pilotage stratégique. LEs données opérationnelles ou brutes, une fois entrées, ne sont plus des données utile aux opérationnels mais aux décideurs, et sont donc appelées données décisionnelles.
    Après l’ODS vient le DSA, Data Staging Area où les données sont nettoyées, transformées et fusionnées pour établir une unité métier dans la multitude de fragments des bases de données opérationnelles captés par l’ODS. Ce qui donne la dernière étape le DW (ou data marts).
    Merci pour l'explication !c'est plus claire maintenant !

    Je reviens avec un autre question ...est-ce qu'une approche ODS > DSA > DWH est toujours necessaire?
    si non, quels seraient les situations on elle ne s'appliquerait pas ?

  6. #6
    Responsable Approche théorique du décisionnel

    Avatar de doc malkovich
    Homme Profil pro
    Consultant en Business Intelligence
    Inscrit en
    juillet 2008
    Messages
    1 877
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Nord (Nord Pas de Calais)

    Informations professionnelles :
    Activité : Consultant en Business Intelligence

    Informations forums :
    Inscription : juillet 2008
    Messages : 1 877
    Points : 4 268
    Points
    4 268
    Billets dans le blog
    1
    Par défaut
    Hello,

    On trouve plusieurs architectures et plusieurs dénominations pour un système décisionnel. Pour ma part, un ODS est un stockage des données opérationnelles nettoyées, dédoublonnées et intègres. Après on les charge dans un Datawarehouse.

    Il n'y a pas forcément besoin de DSA en intermédiaire. Et si je reprends la discussion ici on a même des cas où l'ODS et le DWH ont la même structure (cas que je n'ai jamais rencontré d'ailleurs ).

    Chacun fait son lit ou son ods comme il veut ...
    N'oubliez pas de cliquer sur lorsque votre problème est réglé !

  7. #7
    Modérateur

    Homme Profil pro
    Consultant Teradata
    Inscrit en
    septembre 2008
    Messages
    7 863
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 41
    Localisation : France, Val de Marne (Île de France)

    Informations professionnelles :
    Activité : Consultant Teradata

    Informations forums :
    Inscription : septembre 2008
    Messages : 7 863
    Points : 15 656
    Points
    15 656
    Par défaut
    Les nommages, ça dépend des clients et des consultants qui y sont intervenus.
    DSA = Data Staging Area
    ODS = Operationnal Data Store

    La traduction étant libre, operationnal peut être vu comme "opérationnelles" au sens données sources ou au sens données utilisables.

    J'ai régulièrement croisé (puis mis en place) des architectures DSA -> ODS -> DWH -> DMT.
    Dans le DSA les données sont au format source et non nettoyées, dans l'ODS les données au format cible déjà réconciliées et propres. Les deux environnements sont alimentés en truncate / insert.

    Chez un autre client j'ai vu aussi l'ODS servant comme base de reporting pour les données fraîches, avec un historique de six mois de données glissantes.
    Donc pas de truncate ici.

  8. #8
    Membre du Club
    Inscrit en
    mai 2004
    Messages
    153
    Détails du profil
    Informations forums :
    Inscription : mai 2004
    Messages : 153
    Points : 68
    Points
    68
    Par défaut
    Merci pour les clarifications.

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. [2008R2] Temp table vs Staging Table
    Par nazimb dans le forum SSIS
    Réponses: 1
    Dernier message: 12/11/2013, 17h24
  2. Réponses: 2
    Dernier message: 07/12/2008, 15h32
  3. Réponses: 11
    Dernier message: 20/11/2008, 18h08
  4. emploi du temps à partir d'une table se trouvant dans une base de données
    Par tntneo dans le forum PHP & Base de données
    Réponses: 6
    Dernier message: 16/04/2008, 17h03
  5. Temps de création index table InnoDB trop long
    Par ctobini dans le forum SQL Procédural
    Réponses: 0
    Dernier message: 22/02/2008, 09h23

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo