Discussion :

[macsigarev]

Bonjour la communauté,

Je suis sur un projet d'automatisation de reporting, plus précisement il s'agit de developper une application décisionnelle afin de produire des restitutions à partir de fichiers Excel.

Actuellement, cela fonctionne manuellement, les fichiers source sont manipulés via des formules et des TCD pour produire des graphiques sous Excel.

Le cahier des charge est de monter un datawarehouse sous MySql et le coupler avec Qlikview de produire les restitutions désirées. Pour les transformations elles seront effectuées à l'aide de Talend.

Tout d'abord, j'ai une ambiguité que je souhaiterais lever:
- Ma BD relationelle peut t'elle être mon Datawahouse?
- Sinon, cela voudrait dire que sous MySql, je devrais créer une autre BD qui serait mon datawarehouse?
- Le datawarehouse c'est bien le schéma en étoile que je dois mettre en place?


J'en suis au chargement via TALEND des fichiers Excel dans des tables Mysql (table de données brutes), mais les étapes suivantes sont floues pour moi:
alimentation de la base relationnelle ? alimentation d'un schéma en étoile?

Merci d'avance

[XxArchangexX]

Bonjour,

Pour t'éclairer, un Datawahouse est un gros entrepôt de données,déstiné à effectuer des calculs de données conséquent. Il faut éviter les jointures c'est pour cela que la modélisation de ta base dois avoir le moins de jointure possible et sur ce point le modèle étoile ou flocon se débrouille bien. Le principe de l'étoile (le plus utilisé) c'est d'avoir une table centrale et toutes les autres tables autour.

client
idclient

ville
idville

date
iddate

tableCentrale
idclient
idville
iddate
calcul

Pour ma part ta base de données relationnel peut être ton datawarehouse si tes calculs ne sont pas trop important, sinon il vaut mieux séparer les deux, donc pour répondre à ta question oui une deuxième base de données (datawarehouse) alimentée par la base de données opérationnel de manière quotidienne ou hebdomadaire.

[ElPoune]

Bonjour,

Voici comment je procèderais

Partie extraction-transformation
Aux fins de vérification tu devrais avoir une série de tables qui contiennent les données brutes. De cette façon si jamais tu dois remonter ton modèle en étoile tu auras toujours une source de données cohérentes et le tout sera plus rapide pour remonter ou corriger ton schéma en étoile le cas échéant. Ce que nous appelons dans le projet où je suis nos tables d'historique.

Partie chargement dimension fait
À partir de ces tables d'historique, tu peux produire tes dimensions et tes tables de fait. Il est toujours important de garder une trace de ce que l'on fait, ou je suis nous le faisons pour deux raisons majeures, un audit des données modifiées dans les dimensions de type 2 et 3 et une validation des chargements.

Maintenant que tu décides ou non de produire une nouvelle BD est libre à toi, pour ma part je te conseillerais d'avoir une nouvelle BD et d'inclure dans celle-ci tout ce qui touche à ton projet. De cette façon si jamais tu dois rebâtir ou valider tu peux travailler sans déranger les autres bases de données et tu es plus libre pour tes extractions-transformations-chargements. De Talend tu dois te créer un série de tables qui sont le résultat d’extraction-transformation et des ces tables créer les dimensions et table de fait que tu vas avoir de besoins.


Bonne journée