Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Discussion: ods vs datawarehouse

  1. #1
    Futur Membre du Club
    Femme Profil pro
    Enseignant Chercheur
    Inscrit en
    juin 2017
    Messages
    6
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Âge : 33
    Localisation : Tunisie

    Informations professionnelles :
    Activité : Enseignant Chercheur

    Informations forums :
    Inscription : juin 2017
    Messages : 6
    Points : 7
    Points
    7

    Par défaut ods vs datawarehouse

    Bonjour,
    je ne sais pas si ma conception est correcte mais je récupère des données que je mets telles quelles dans un ODS comme un stockage provisoire qui va ensuite alimenter un ETL et être stocké dans un datawarehouse après transformation .
    Le problème c'est que je récupère mes données de différentes sources avec un risque de répétitions et je me demande ou est ce que je dois éliminer les redondances, est ce que je verifie avant de mettre dans l'ODS ou est ce que la procedure voudrais que je stocke les nouvelles données sans verification dans l'ODS et ensuite lors de l'ajout au datawarehouse je fais la verification??
    Merci de m'aider

  2. #2
    Membre averti

    Homme Profil pro
    Consultant en Business Intelligence
    Inscrit en
    juillet 2011
    Messages
    131
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Seine Saint Denis (Île de France)

    Informations professionnelles :
    Activité : Consultant en Business Intelligence
    Secteur : Service public

    Informations forums :
    Inscription : juillet 2011
    Messages : 131
    Points : 316
    Points
    316
    Billets dans le blog
    2

    Par défaut

    Citation Envoyé par melnej Voir le message
    Bonjour,
    je ne sais pas si ma conception est correcte mais je récupère des données que je mets telles quelles dans un ODS comme un stockage provisoire qui va ensuite alimenter un ETL et être stocké dans un datawarehouse après transformation .
    Le problème c'est que je récupère mes données de différentes sources avec un risque de répétitions et je me demande ou est ce que je dois éliminer les redondances, est ce que je verifie avant de mettre dans l'ODS ou est ce que la procedure voudrais que je stocke les nouvelles données sans verification dans l'ODS et ensuite lors de l'ajout au datawarehouse je fais la verification??
    Merci de m'aider
    Salut melnej,

    A mon avis tu es sur une bonne approche.

    je récupère des données que je mets telles quelles dans un ODS comme un stockage provisoire
    Lors de l'insertion des données dans l'ODS, tu effectues le formatage (ISO-95,UTF8,etc...), la conversion des types s'il y a des nombres qui sont par exemple en string => Int, Float,Double etc.., selon les besoins si tu as envie d'ajouter de la traçabilité aux données ou pas. j'ai plutôt tendance à ajouter un numéro de suivi à chaque fllux de données que j'intègre dans un entrepôt de données, afin de faciliter la reprise sur errreur. et je fais ça dès l'étape ODS.

    Ainsi, à la sortie de l'ODS pour aller dans le DWH tes données sont saines.
    Vu que l'ODS est un espace de stockage temporaire, donc tu l'alimente en DELETE/INSERT.

    est ce que je verifie avant de mettre dans l'ODS ou est ce que la procedure voudrais que je stocke les nouvelles données sans verification dans l'ODS et ensuite lors de l'ajout au datawarehouse je fais la verification?
    ça peut être spécifique au besoins, mais pour moi c'est lors de l'ajout dans le DWH, que tu vérifies si tes nouvelles données existe déjà dans ton entrepôts de données,s'ils n'existent pas tu les intègre.
    S'ils existent dans ce cas :
    • Si rien n'a changé par rapport aux données que tu as déjà tu les intègre pas.
    • Si c'est des données dont certaines attributs ont changé, dans ce cas tu peux choisir d'intégrer le delta.



    Sur tes tables de dimensions si tu as des attributs dont les données sont ok lors l'intégration des données, mais qui sont susceptibles d'évolués dans le temps tu peux les identifier et définir un type de SCD (Slowly Changing Dimension) à mettre en place, avec la plupart des outils ETL (Talend,SSIS,Informatica) tu peux faire ça.

    Tous ce processus s'il est bien fait te permettra de ne pas avoir de redondance de données dans le DWH.
    Utilisez le bouton pour mettre en valeur la ou les réponses qui vous ont été les plus utiles. Marquez comme si c'est le cas.

    ''Le savoir est la seule matière qui s’accroît lorsqu’on la partage.''
    (Socrate)

Discussions similaires

  1. Chargement de ODS vers Datawarehouse
    Par Study2007 dans le forum Approche théorique du décisionnel
    Réponses: 1
    Dernier message: 28/01/2014, 15h08
  2. Chargement du datawarehouse à partir d'un ODS
    Par Bb.siham dans le forum Débuter
    Réponses: 5
    Dernier message: 22/04/2011, 09h36
  3. [DataWarehouse] InfoCube
    Par ludovic.fernandez dans le forum Alimentation
    Réponses: 4
    Dernier message: 14/10/2004, 10h14
  4. Datawarehouse
    Par SebCBien dans le forum Alimentation
    Réponses: 3
    Dernier message: 11/05/2004, 20h02
  5. [Concept] Datawarehouse et OLAP
    Par senke dans le forum Alimentation
    Réponses: 6
    Dernier message: 30/03/2003, 01h54

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo