Discussion :

[YobsDebutant]

Bonjour,

Avant toute chose, merci et bravo pour l'ensemble des forums de développez, il y a une somme de connaissances impressionnantes par ici...

Un petit point sur ma situation, je prends en main la responsabilité du SID dans mon entreprise (jusque là il n'y en avait pas: le décisionnel était assuré par les pôles OLTP).

J'hérite donc de 8 datawarehouse différents, 3 ETL (ODI, BODS, Talend), quand aux outils de reporting ça va plus vite de compter ceux qu'on n'a pas (on a du BO, du Cognos, du Powerplay, du Qlikview...).
De plus, côté OLTP, on est sur une approche dite "Best of breed" = empiler et essayer de faire causer des progiciels différents. Donc mes ODS peuvent être : Oracle, DB2, Sql Server (de 2003 à 2013), Access et excel.
Enfin, les travaux ETL déjà déployés utilisent des méthodes propres à chaque pôle fonctionnel (pour ne pas dire à chaque programmeur).

1/ définition de priorité, est-ce que vous auriez la même que moi?
Fusionner au plus vite les ETL / DWH (avant de gérer des dimensions conformes, ce serait pas mal qu'lles soient au moins stockées et alimentées au même endroit).

2/ Avant choix des outils, arrêter une méthode, j'imagine la suivante:

En gros, dans l'extraction, on reste au plus près des sources, puis une phase de "renormalisation" permettant de consolider les données avant de dénormaliser sur des données propres

Comme ça au débotté, je prends toutes les critiques ou suggestion sur la méthode, de toutes façons vous aurez la dents moins dure que mes collègues...

En prime, des premières suggestions sur le choix d'ETL basé sur vos avis perso et sur un choix d'outil de modélisation (j'aime bien la ligne de commande SQL, mais bon un peu de reverse, génération de DDL, ça peut être sympa aussi).

Merci à tous ceux qui ont déjà lu jusque là, et encore plus à ceux qui prendront le temps de répondre.

Cordialement,

Yohann

[nuke_y]

Bonjour,

c'est pas évident du tout de remettre tout ça d'aplomb, il y a eu des fusions / acquisitions ? Je n'ai encore jamais vu d'entreprise qui utilise à la fois BO et Cognos.

Est-ce que ce sont des DWH différents ou des Datamarts ? Si ce sont des datamarts, constitués par des équipes différentes, avec des outils différents, rien d'étonnant. Si ce sont des DWH, à part dans un cas de fusion / acquisition j'en ai rarement vu plus que 3 : la finance, l'opérationnel et parfois la RH, souvent gérés dans le même service IT et avec les mêmes outils (ou presque). Donc 8 c'est énorme !

Fusionner les structures de données me semble assez sain effectivement, cad regrouper dans une seule BDD toutes les structures décisionnelles. Mais ça va avoir des impacts forts : ODI est un ELT, BODS offre plus de possibilités mais porte quand même une forte connotation SAP, Talend fait quand même pas si mal son boulot donc on peut se demander si ça vaut le coup de s'en débarrasser. Bref c'est pas de la petite opération de chirurgie esthétique.


Selon vos objectifs je dirais:

- réduire les coûts de run: choisir 1 ETL (sauf s'ils Talend est la version gratuite), refaire les flux d'alimentation avec l'ETL choisi, choisir entre BO Et Cognos, enlever Powerplay si ça fait faire des économies, garder Qlikview si possible.

- avoir une meilleure cohérence et des bonnes pratiques : choisir 1 ETL, regrouper TOUTES les structures de données sur 1 seule BDD (Oracle ou SQLServer), refaire les flux d'alimentation avec l'ETL choisi, fusionner les dimensions, établir un nouveau modèle de données DWH, choisir entre BO Et Cognos, enlever Powerplay si ça fait faire des économies, garder Qlikview si possible.

- améliorer le service rendu au business: ne toucher à rien de l'existant, choisir 1 ETL, construire un nouveau DWH qui va fusionner les données qui existent dans les différents ODS et présenter une vision cohérente des données de l'entreprise, choisir 1 solution de reporting (BO ou Cognos) et d'analyse (Powerplay ou Qlikview) et produire du nouveau contenu réellement utile pour le business. Puis décommissionner les anciens rapports / cubes au fur et à mesure, puis décommissionner les structures de données puis migrer les ODS sur la même BDD que le nouveau DWH. Puis décommissionner tout ce qui n'a plus de sens vis à vis des nouveaux outils / besoins.

- agir très vite : tout miser sur Qlikview et son ETL embarqué pour produire des Quickwins qui prouvent votre capacité à faire, puis utiliser 1 des 3 propositions précédentes.


Bonne chance surtout

PS: dans la fonction de votre profil il y a une faute de frappe à "Décisionnel".

[YobsDebutant]

Bonjour,

Merci pour cette réponse.
Gagné, c'est une fusion de trois entreprises...

Ce sont bien des DWH différents (4 instances Oracle indépendantes parfois découpées en schéma, plus un SQL Server).
Le futur est (un peu) piloté par la maison mère... Vraisemblablement:
- garder le DWH SQL Server pour les nouveaux développements
- garder BO DS (formation à venir dans 3 semaines, je suis plutôt formé ODI aujourd'hui) pour les nouveaux développements
- garder BO + Qlikview (BO pour les directions qui aiment bien les botins, Qlik pour les directions réclamant plus d'interactivité).
Pour les autres outils ce sera comme vous le dites les utilisateurs qui choisiront, soit les adosser au nouveau DWH (faire le plus transparent pour l'utilisateur final), soit amener à "conformer" leurs dimensions avec le nouveau DWH => revoir à minima les datamarts...

Quand vous parlez de "bonnes pratiques", c'est un peu ça que je cherchais dans ce post à travers le schéma.
Est-ce que ce découpage en 3 niveaux "logiques" : las tables ODS, les tables DSA, jusqu'aux tables dénormalisées DIM / FAITS, c'est des choses que vous avez pu voir?
Pour la qualité de la donnée (à l'étage DSA), je vois comment procéder "à la main" en implémentant les règles dans le job via des tables de rejets par exemple. Mais est-ce que quelqu'un aurait un retour d'expérience sur le branchement d'un outil de type MDM dans ce schéma? Quel apport?

Merci

Yohann

[nuke_y]

Ok alors si on reprend sur le schéma je n'ai rien à lui reprocher, ça me semble proche de l'état de l'art. Moi j'aime bien avoir mes ODS dans le périmètre de la BI, donc sur mes serveurs, mais ça peut se discuter et ça dépend des sources.

Pour le MDM c'est sûr que s'il y a une volonté de retrouver de la cohérence fonctionnelle c'est le bon moment mais attention un MDM ce n'est pas uniquement de la BI : il faut que ce soit une démarche d'entreprise, un outil qui serve à concrétiser la fusion des activités au travers d'une vision commune des process et des données. Si c'est ça, alors ça fonctionnera bien et vous profiterez du MDM pour consolider vos données.

Ce que ça implique c'est l'intervention de prestataires rompus au MDM, juste être formé à un outil de MDM ne suffira malheureusement pas.

Ca m'a l'air intéressant comme projet, j'espère que vous aurez du budget pour le MDM.

[YobsDebutant]

Bonjour,

Quand vous dites:

avoir mes ODS dans le périmètre de la BI,

Je peux vous demander ce que ça veut dire?
Si c'est "hébergé sur la même base de données que les table de dimensions / de faits", c'est l'objectif.
Sur le schéma, la division "Espace de travail" / "entrepôt de données" n'est que logique. Ce sera la même BDD.

Pour le MDM, j'espère arriver à convaincre.
Il y a un début de prise de conscience (un projet Product Informaton Management a été lancé), mais il va falloir que je me batte pour obtenir un MDM pour le reste du scope...

Le projet est très intéressant, mais comme vous l'avez pointé, y'a du boulot!
Merci pour vos réponses, avec votre retour, je vais pouvoir aller affronter mes camarades et mon chef la tête haute, armé de mon petit schéma!
Parce que dans certains coins du décisionnel aujourd'hui, avant d'aller jusqu'au MDM, déjà imposer une méthode comme celle là, ça va déjà être une révolution ("comment ça on ne peut pas copier coller les tables de l'outil d'origine et plugger directement le reporter dessus?")

[nuke_y]

Oui c'est hébergé sur des BDD sur lesquels j'ai la main, pas forcément sur les mêmes que le DWH et les DMT

[YobsDebutant]

Merci beaucoup pour tous ces éléments, Plus qu'à attaquer la mise en oeuvre!

Allez dernières questions pratico-pratiques si quelqu'un a des préconisations sur les points suivants:
- Quel outil de modélisation? On n'a pas d'outil aujourd'hui, j'essaye de pousser dans cette direction... Quel outil pour dessiner les schémas de données avec, autant que possible, une capacité de reverse (par exemple générer la table ODS à partir de la description prise dans le système source), la génération de DDL ...
- Quel outil pour centraliser les "méta données": vous vous faites votre propre BDD ou vous mettez en oeuvre des outils déjà packagés?

Cordialement,

Yohann