Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Alimentation Discussion :

ETL, temp table vs Staging table


Sujet :

Alimentation

  1. #1
    Membre du Club
    ETL, temp table vs Staging table
    Salut à tous,

    Etant novice dans le demaine de l'informatique decisionnelle ,je me demandais s'il fallait lors d'une extraction-chargement proceder comme suit:

    table temp -> Staging -> DWH

    ou bien

    staging->DWH .

    Merci

  2. #2
    Membre éprouvé
    ou staging > temp > DWH
    Qu'est ce que vous pensez mettre dans vos tables temp ?
    Pensez à la fonction Recherche

  3. #3
    Membre régulier
    Au vu de son raisonnement, la table temp représenterai une copie de (des) sources système opérationnel. La staging serai la zone de transformation juste avant le chargement dans le DW. Il y a un conflit évident pour définir ces différentes étapes de toute manière. On parle souvent de ODS et (D)SA.

    Pour ma part, en grande ligne, je dirai que l’opérating Data Store comme son nom l’indique, contient des données opérationnelles, c’est à dire brutes. C’est donc la première étape en entrant dans un Data Warehouse, on y stocke les enregistrements de production lié à l’activité de l’entreprise utile au pilotage stratégique. LEs données opérationnelles ou brutes, une fois entrées, ne sont plus des données utile aux opérationnels mais aux décideurs, et sont donc appelées données décisionnelles.
    Après l’ODS vient le DSA, Data Staging Area où les données sont nettoyées, transformées et fusionnées pour établir une unité métier dans la multitude de fragments des bases de données opérationnelles captés par l’ODS. Ce qui donne la dernière étape le DW (ou data marts).

  4. #4
    Membre éprouvé
    Exactement
    Dit comme ça c'est clair.
    Pensez à la fonction Recherche

  5. #5
    Membre du Club
    Citation Envoyé par stylor Voir le message
    Au vu de son raisonnement, la table temp représenterai une copie de (des) sources système opérationnel. La staging serai la zone de transformation juste avant le chargement dans le DW. Il y a un conflit évident pour définir ces différentes étapes de toute manière. On parle souvent de ODS et (D)SA.

    Pour ma part, en grande ligne, je dirai que l’opérating Data Store comme son nom l’indique, contient des données opérationnelles, c’est à dire brutes. C’est donc la première étape en entrant dans un Data Warehouse, on y stocke les enregistrements de production lié à l’activité de l’entreprise utile au pilotage stratégique. LEs données opérationnelles ou brutes, une fois entrées, ne sont plus des données utile aux opérationnels mais aux décideurs, et sont donc appelées données décisionnelles.
    Après l’ODS vient le DSA, Data Staging Area où les données sont nettoyées, transformées et fusionnées pour établir une unité métier dans la multitude de fragments des bases de données opérationnelles captés par l’ODS. Ce qui donne la dernière étape le DW (ou data marts).
    Merci pour l'explication !c'est plus claire maintenant !

    Je reviens avec un autre question ...est-ce qu'une approche ODS > DSA > DWH est toujours necessaire?
    si non, quels seraient les situations on elle ne s'appliquerait pas ?

  6. #6
    Responsable Approche théorique du décisionnel

    Hello,

    On trouve plusieurs architectures et plusieurs dénominations pour un système décisionnel. Pour ma part, un ODS est un stockage des données opérationnelles nettoyées, dédoublonnées et intègres. Après on les charge dans un Datawarehouse.

    Il n'y a pas forcément besoin de DSA en intermédiaire. Et si je reprends la discussion ici on a même des cas où l'ODS et le DWH ont la même structure (cas que je n'ai jamais rencontré d'ailleurs ).

    Chacun fait son lit ou son ods comme il veut ...
    N'oubliez pas de cliquer sur lorsque votre problème est réglé !

  7. #7
    Modérateur

    Les nommages, ça dépend des clients et des consultants qui y sont intervenus.
    DSA = Data Staging Area
    ODS = Operationnal Data Store

    La traduction étant libre, operationnal peut être vu comme "opérationnelles" au sens données sources ou au sens données utilisables.

    J'ai régulièrement croisé (puis mis en place) des architectures DSA -> ODS -> DWH -> DMT.
    Dans le DSA les données sont au format source et non nettoyées, dans l'ODS les données au format cible déjà réconciliées et propres. Les deux environnements sont alimentés en truncate / insert.

    Chez un autre client j'ai vu aussi l'ODS servant comme base de reporting pour les données fraîches, avec un historique de six mois de données glissantes.
    Donc pas de truncate ici.

  8. #8
    Membre du Club
    Merci pour les clarifications.