Discussion :

[Spredzy]

Bonjour à tous,

Je n'arrive pas à obtenir une réponse claire à la question suivante :

Quelle est la place / le role de MasterDataServices (MDS) au sein de SSIS ?

Selon mon interpretation, SSIS est -en faisant trés simple- un ETL trés amélioré et poussé. MDS permet la gestion de MasterData, est ce seulement une étape de data staging ? Est ce plus ?

MDS est elle juste une source pour l'ETL dans son ensemble ?

Pour être franc avec vous je suis un peu perdu sur ce sujet.

Si une bonne âme charitable pouvait m'expliquer, je lui en serait reconnaissant.

Merci encore,

[FrancoisJehl]

Les Master Data, ce sont tes référentiels importants, valables pour toute l'entreprise, nettoyés, qui font foi. Ce sont les fiches clients, les fiches produits... Le Master Data Management c'est le processus de gestion de ces données. MDS sert à ça.
Typiquement dans une entreprise (et pour nous qui faisons de la BI), on se retrouve souvent à faire du Master Data Management sans le dire en même temps que du Data Warehousing: dit autrement on nettoie les données, on constitue des référentiels en même temps que de consolider une base d'analyse. L'idée du MDM c'est que l'entreprise aurait bien besoin du même genre de référentiel "nettoyé" que celui fourni par l'entrepôt, sans pour autant subir ses contraintes (périmètre réduit, aggrégé et temps de latence). Le MDM c'est de la gestion de de référentiel appliqué à l'entreprise et donc à tous les systèmes, OLTP compris.

Comment ça interragit avec les ETL (puisque c'est ta question): et bien on va dire que ça enlève un peu de boulot à l'ETL pour le périmètre des données géré par MDS, que celui-ci va juste récupérer. Mais il restera d'une part toujours des données non masterisées, et en plus l'ETL ne se borne pas simplement à de la vérification de cohérence des référentiels... (Quid des aggrégations, des règles métier sur les faits...).

Donc MDS prend une part du boulot de SSIS pour faire bénéficier à l'entreprise de données propres pour tous les systèmes, et non plus seulement DW/OLAP. Mais il reste encore beaucoup d'ETL dans les projets... J'espère que mon babillage verbeux t'a un peu éclairé.

[Spredzy]

Merci pour toutes ces infos Francois

Donc si j'ai bien compris, MDS sert de pseudo-ETL/Base de données.

Il va chercher/recoit les infos, les stocks (Model/Entité/Attributs) fait du traitement dessus et assure la qualité des données (Business rules) et se les fait prendre par un ETL (SSIS) en aval ?

Est ce correct ?

Sur le site de Microsoft il est dit que MDS propose une API, saurais tu en quel langage elle est ? Je dirais que l'on peut y acceder via un langage du framework .Net, mais n'étant pas familier des technos microsoft je sais pas si cette affirmation est correct.

Merci encore pour tes réponses

[FrancoisJehl]

et se les fait prendre par un ETL (SSIS) en aval ?

Oui si on a un projet décisionnel, ce qui n'est pas forcément le cas (on peut avoir besoin de Master Data et pas de DW/DM...

Sur le site de Microsoft il est dit que MDS propose une API, saurais tu en quel langage elle est ?

Tu as un site web (Master Data Manager) et surtout un web-service, après à toi de jouer dans le langage que tu veux

[Spredzy]

Le projet est en effet décisionnel.

Le but est d'abstraire cette couche (WebService). Les destinataires font parti d'une branche marketing. Et J'aimerai que via un fichier excel ils puissent insérer des données dans le MDS.

Penses tu que ce soit possibles avec des macros Excel ?

[FrancoisJehl]

Bah tu peux appeller le WS dans les macros Excel avec le Web Service toolkit pour les versions 2003 et précédentes. Après c'est plutôt du VSTO (un exemple ici: http://msdn.microsoft.com/en-us/libr...ffice.12).aspx).
Bon courage en tous cas!

[Ptit_Dje]

Et J'aimerai que via un fichier excel ils puissent insérer des données dans le MDS.

Brrrrr, ca me fait froid dans le dos de penser a des utilisateurs qui encodent des données MasterData directement depuis un fichier excel.
Les fautes de frappes et autres erreurs humaines...

De ce que j'ai pu voir, les masterdatas proviennent généralement de sources fiables deja prévalidées (genre extractions de SAP ou autre ERP) et sont chargées au moyen d'un ETL. Et il arrive encore qu'il y ai des erreurs...

Les MDs se doivent d'etre une source de données fiables de référence pour l'entreprise, confier ca a des humains.... brrrr

[Jinroh77]

Brrrrr, ca me fait froid dans le dos de penser a des utilisateurs qui encodent des données MasterData directement depuis un fichier excel.
Les fautes de frappes et autres erreurs humaines...

De ce que j'ai pu voir, les masterdatas proviennent généralement de sources fiables deja prévalidées (genre extractions de SAP ou autre ERP) et sont chargées au moyen d'un ETL. Et il arrive encore qu'il y ai des erreurs...

Les MDs se doivent d'etre une source de données fiables de référence pour l'entreprise, confier ca a des humains.... brrrr

J'aime beaucoup la remarque

Pour ce qui est du MDM, comment se fait le chargement de ces référentiels avec les outils Microsoft ?
Pas seulement avec un WS j'imagine ?
Il y a des composant particulier que l'on utilise dans SSIS, un outil à part, rien encore de fiable pour le moment ?

[FrancoisJehl]

Les MDs se doivent d'etre une source de données fiables de référence pour l'entreprise, confier ca a des humains..

Ah ça mon bon monsieur je suis bien d'accord Après on me demande la faisabilité technique du machin, je dis que c'est faisable, de là à dire best practise faut pas déconner non plus.

Pas seulement avec un WS j'imagine ?

Non. Dans MDS tu as des tables de Staging "génériques" ultra dénormalisées qui te permettent de charger depuis un ETL, puis d'envoyer un processus d'intégration dans les Master Data. Je pense que d'autres articles ont été écrits dessus mais tu as celui ci sur SQL Central, que tu as peut être déjà vu: http://www.sqlservercentral.com/arti...+(SSIS)/69372/

[ygrim]

Bonjour,
L'idée derrière le Master Data Management est de redonner la responsabilité des données aux clients. C'est dans ce cadre que des postes comme le Data Steward (responsable d'un domaine d'affaire particulier) sont créés dans les entreprise.

Les outils tels que MDS permettent d'implanter des workflow, des règles d'affaires et des méchanismes d'approbations / rejets qui permettent de s'assurer que ce qui sera publié (dans un DW par exemple) sera de bonne qualité.

Il y a le risque de "confier a un humain" mais il y'a le risque de laisser un programme décider quelle données est bonne et quelle données ne l'est pas. Imaginez un client ayant une adresse dans un système et une autre adresse dans un autre système. l'ETL ne peux simplement décider quand prendre telle ou telle adresse.

En espérant que ça aide !

Brrrrr, ca me fait froid dans le dos de penser a des utilisateurs qui encodent des données MasterData directement depuis un fichier excel.
Les fautes de frappes et autres erreurs humaines...