Discussion :

[nazimb]

Salut à tous,

Etant novice dans le demaine de l'informatique decisionnelle ,je me demandais s'il fallait lors d'une extraction-chargement proceder comme suit:

table temp -> Staging -> DWH

ou bien

staging->DWH .

Merci

[Benoit_Durand]

ou staging > temp > DWH
Qu'est ce que vous pensez mettre dans vos tables temp ?

[stylor]

Au vu de son raisonnement, la table temp représenterai une copie de (des) sources système opérationnel. La staging serai la zone de transformation juste avant le chargement dans le DW. Il y a un conflit évident pour définir ces différentes étapes de toute manière. On parle souvent de ODS et (D)SA.

Pour ma part, en grande ligne, je dirai que l’opérating Data Store comme son nom l’indique, contient des données opérationnelles, c’est à dire brutes. C’est donc la première étape en entrant dans un Data Warehouse, on y stocke les enregistrements de production lié à l’activité de l’entreprise utile au pilotage stratégique. LEs données opérationnelles ou brutes, une fois entrées, ne sont plus des données utile aux opérationnels mais aux décideurs, et sont donc appelées données décisionnelles.
Après l’ODS vient le DSA, Data Staging Area où les données sont nettoyées, transformées et fusionnées pour établir une unité métier dans la multitude de fragments des bases de données opérationnelles captés par l’ODS. Ce qui donne la dernière étape le DW (ou data marts).

[Benoit_Durand]

Exactement
Dit comme ça c'est clair.

[nazimb]

Au vu de son raisonnement, la table temp représenterai une copie de (des) sources système opérationnel. La staging serai la zone de transformation juste avant le chargement dans le DW. Il y a un conflit évident pour définir ces différentes étapes de toute manière. On parle souvent de ODS et (D)SA.

Pour ma part, en grande ligne, je dirai que l’opérating Data Store comme son nom l’indique, contient des données opérationnelles, c’est à dire brutes. C’est donc la première étape en entrant dans un Data Warehouse, on y stocke les enregistrements de production lié à l’activité de l’entreprise utile au pilotage stratégique. LEs données opérationnelles ou brutes, une fois entrées, ne sont plus des données utile aux opérationnels mais aux décideurs, et sont donc appelées données décisionnelles.
Après l’ODS vient le DSA, Data Staging Area où les données sont nettoyées, transformées et fusionnées pour établir une unité métier dans la multitude de fragments des bases de données opérationnelles captés par l’ODS. Ce qui donne la dernière étape le DW (ou data marts).

Merci pour l'explication !c'est plus claire maintenant !

Je reviens avec un autre question ...est-ce qu'une approche ODS > DSA > DWH est toujours necessaire?
si non, quels seraient les situations on elle ne s'appliquerait pas ?

[doc malkovich]

Hello,

On trouve plusieurs architectures et plusieurs dénominations pour un système décisionnel. Pour ma part, un ODS est un stockage des données opérationnelles nettoyées, dédoublonnées et intègres. Après on les charge dans un Datawarehouse.

Il n'y a pas forcément besoin de DSA en intermédiaire. Et si je reprends la discussion ici on a même des cas où l'ODS et le DWH ont la même structure (cas que je n'ai jamais rencontré d'ailleurs ).

Chacun fait son lit ou son ods comme il veut ...

[Waldar]

Les nommages, ça dépend des clients et des consultants qui y sont intervenus.
DSA = Data Staging Area
ODS = Operationnal Data Store

La traduction étant libre, operationnal peut être vu comme "opérationnelles" au sens données sources ou au sens données utilisables.

J'ai régulièrement croisé (puis mis en place) des architectures DSA -> ODS -> DWH -> DMT.
Dans le DSA les données sont au format source et non nettoyées, dans l'ODS les données au format cible déjà réconciliées et propres. Les deux environnements sont alimentés en truncate / insert.

Chez un autre client j'ai vu aussi l'ODS servant comme base de reporting pour les données fraîches, avec un historique de six mois de données glissantes.
Donc pas de truncate ici.

[nazimb]

Merci pour les clarifications.