Discussion :

[melnej]

Bonjour,
je ne sais pas si ma conception est correcte mais je récupère des données que je mets telles quelles dans un ODS comme un stockage provisoire qui va ensuite alimenter un ETL et être stocké dans un datawarehouse après transformation .
Le problème c'est que je récupère mes données de différentes sources avec un risque de répétitions et je me demande ou est ce que je dois éliminer les redondances, est ce que je verifie avant de mettre dans l'ODS ou est ce que la procedure voudrais que je stocke les nouvelles données sans verification dans l'ODS et ensuite lors de l'ajout au datawarehouse je fais la verification??
Merci de m'aider

[Netsoro]

Bonjour,
je ne sais pas si ma conception est correcte mais je récupère des données que je mets telles quelles dans un ODS comme un stockage provisoire qui va ensuite alimenter un ETL et être stocké dans un datawarehouse après transformation .
Le problème c'est que je récupère mes données de différentes sources avec un risque de répétitions et je me demande ou est ce que je dois éliminer les redondances, est ce que je verifie avant de mettre dans l'ODS ou est ce que la procedure voudrais que je stocke les nouvelles données sans verification dans l'ODS et ensuite lors de l'ajout au datawarehouse je fais la verification??
Merci de m'aider

Salut melnej,

A mon avis tu es sur une bonne approche.

je récupère des données que je mets telles quelles dans un ODS comme un stockage provisoire

Lors de l'insertion des données dans l'ODS, tu effectues le formatage (ISO-95,UTF8,etc...), la conversion des types s'il y a des nombres qui sont par exemple en string => Int, Float,Double etc.., selon les besoins si tu as envie d'ajouter de la traçabilité aux données ou pas. j'ai plutôt tendance à ajouter un numéro de suivi à chaque fllux de données que j'intègre dans un entrepôt de données, afin de faciliter la reprise sur errreur. et je fais ça dès l'étape ODS.

Ainsi, à la sortie de l'ODS pour aller dans le DWH tes données sont saines.
Vu que l'ODS est un espace de stockage temporaire, donc tu l'alimente en DELETE/INSERT.

est ce que je verifie avant de mettre dans l'ODS ou est ce que la procedure voudrais que je stocke les nouvelles données sans verification dans l'ODS et ensuite lors de l'ajout au datawarehouse je fais la verification?

ça peut être spécifique au besoins, mais pour moi c'est lors de l'ajout dans le DWH, que tu vérifies si tes nouvelles données existe déjà dans ton entrepôts de données,s'ils n'existent pas tu les intègre.
S'ils existent dans ce cas :

• Si rien n'a changé par rapport aux données que tu as déjà tu les intègre pas.
• Si c'est des données dont certaines attributs ont changé, dans ce cas tu peux choisir d'intégrer le delta.

Sur tes tables de dimensions si tu as des attributs dont les données sont ok lors l'intégration des données, mais qui sont susceptibles d'évolués dans le temps tu peux les identifier et définir un type de SCD (Slowly Changing Dimension) à mettre en place, avec la plupart des outils ETL (Talend,SSIS,Informatica) tu peux faire ça.

Tous ce processus s'il est bien fait te permettra de ne pas avoir de redondance de données dans le DWH.