Processus de chargement des données (avec talend)

[szoubir]

Bonjour,

Je rédige une note technique où je dois décrire le processus de chargement des données dans notre futur entrepôt de données (modèle en étoile) en utilisant Talend. Et J’ai un problème concernant les données agrégées et les données historisées.

Comment je peux gérer ces 2 cas?

Concernant les données agrégées, normalement est ce que ça se fait au niveau de la transformation des données ou on lance un script de calcul lorsque l’on fait du reporting ? On souhaiterait les conserver… Est-ce que ça se fait ? Si non pourquoi et si je veux quand même les conserver où je les mets ? dans une table Données_Agrégées ? Comment savoir quelles données sont agrégées? On agrége la table des faits ou les dimensions?

Pour les données historisées on crée aussi une table Données_Conservées ? Si non, comment ?

Merci d'avance

[GGGGG]

Bonjour,

J'ai pas bien compris ce que vous vouliez faire. En gros, vous avez votre DW alimenté et vous voulez generer des datamarts avec des données agregées ?

Pour l'historisation des données dans un DW, je suis aussi assez interessé par les possibilités :p

[szoubir]

Envoyé par GGGGG

Bonjour,

J'ai pas bien compris ce que vous vouliez faire. En gros, vous avez votre DW alimenté et vous voulez generer des datamarts avec des données agregées ?

Pour l'historisation des données dans un DW, je suis aussi assez interessé par les possibilités :p

Oui c'est à peu pret ca mais est-ce que j'ai besoin de générer des datamarts?

En fait, je dois alimenter mon entrepot de données à partir d'un ETL.

J'ai un fichier source qui contient plusieurs informations. Chaque information doit être chargée soit dans la table des faits ou dans les différentes dimensions.

Ma question est une fois que toutes les données sont chargées, comment gérer les données agrégées et historiser les informations (modifiées ou supprimées). Comment et où les conserver? qu'est ce que je dois conserver?...

Merci