Discussion :

[ukanoldai]

Bonjour,
notre dw commence a prendre de l'ampleur et touche a beaucoup de domaine (milieu hospitalier), et la maintenance des tables de référence prend finalement pas mal de temps pour arriver a garder un système bien carré.

Certains parmis vous ont ils une solution pour délocaliser cette maintenance vers des utilisateurs? Sans avoir des fichiers excel trimballé par mail.

J'utilise cognos et je vais aller voir une démo du produit "Fast edit", qui a l'air pas mal mais plutôt cher, mais je n'ai sans doute pas besoin d'une usine a gaz, je pensais me tourner betement vers access mais peut-etre existe t'il quelque chose.

Merci de votre aide

[DevNico]

Bonjour,

De manière très générale il est possible de mettre en place assez facilement une interface web utilisateur qui permet de mettre à jour des valeurs dans des tables.

Il suffit d'un serveur web, avec une appli qui tourne en java, php ou tout autre langage. Il doit surement exister déjà des applis web dans votre SI qui pourrait héberger une petite appli de ce type ?

Nico

[doc malkovich]

Il y a plusieurs solutions, celles que j'ai connues sont :
- l'utilisation d'access ou la version d'access en openoffice ( je ne sais plus son nom ) qui elle est gratuite
- les fichiers excel avec un bouton affecté à une macro qui renseigne la table en base
- les interfaces web, qui lancent aussi des jobs de controle avec l'ETL de la maison

Elles sont classées dans l'ordre croissant en coût / qualité ...

[ukanoldai]

merci pour vos réponses.

En fait je cherche des solutions qui ne sont pas homemade, pour des questions de maintenance.

un truc qui tienne encore le jour ou je ne suis plus la en somme.

[Paul_S]

Généralement, on suit le processus : Transactionnel -> ETL -> Datawarehouse (et donc référentiel) -> Restitution
Le référentiel est donc alimenté à partir des données de prod, via l'ETL.

On peut donc envisager un processus de "demande de création" d'une nouvelle référence, qui peut être modifiée, annotée, validée... dans le cadre d'une démarche collaborative. Quoi qu'il en soit, la nouvelle référence est crée dans l'application transactionnelle. Elle alimente ainsi automatiquement via les flux ETL votre DWH.

Si vous souhaitez une application type progiciel, vous pouvez regarder les solutions collaboratives qui offrent un portail, gèrent les processus métier et optimisent la circulation des informations saisies (BPM); une solution en tous cas plus évolutive et non limitée à votre environnement applicatif actuel (cognos)

[doc malkovich]

On peut donc envisager un processus de "demande de création" d'une nouvelle référence, qui peut être modifiée, annotée, validée... dans le cadre d'une démarche collaborative. Quoi qu'il en soit, la nouvelle référence est crée dans l'application transactionnelle. Elle alimente ainsi automatiquement via les flux ETL votre DWH.

J'aime bien ce terme de "démarche collaborative"
Mais dans la pratique il existe toujours des référentiels qui sont purement décisionnels, par exemples des typologies ou transcodifs métier qui ne sont utiles qu'en restitution. C'est dommage de les créer dans l'application transactionnelle s'il n'y en a pas besoin non ?

[Paul_S]

Bonjour,

il existe toujours des référentiels qui sont purement décisionnels, par exemples des typologies ou transcodifs métier qui ne sont utiles qu'en restitution

Peux-tu préciser, donner des exemples...
Merci

[doc malkovich]

Par exemple on a 2 progiciels dans l'entreprise, mais ils ne gèrent pas pareillement la typo des produits. Ils n'ont pas le même référentiel, car les logiciels n'ont pas la même structure / profondeur de typo. Généralement les utilisateurs consolident le tout dans un référentiel, géré par des tables de transcodif à la main ...

Ou encore tu as des échanges avec un partenaire externe, enrichis par des infos des utilisateurs pour faire le lien avec les données internes. Quel est l'intérêt de mettre ces infos en SIO si aucune appli transactionnelle ne va les utiliser ?

[olpons]

Je rebondis sur une réponse données par Hebus_beer sur un sujet similaire dans lequel il dit qu'il est possible de modifier les données de référence directement dans le Data Warehouse (DW). Oui, techniquement c'est faisable. Mais est-ce une bonne idée ?

A mon sens, c'est une grave erreur ! Les données de références n'ont pas à être modifiées directement dans le DW.

ukanoldai, pour répondre à ta question, il vaut mieux proposer un stockage dans une base de données dédiée à cet effet et ensuite, par l'ETL, intégrer ces données dans le DW et offrir aux utilisateurs compétents une solution logiciel leur permettant de gérer ces données de références (dev dans le langage qui vous plait, en WIN32, web...)

Si l'utilisateur a la possibilité de modifier les données stockée dans le DW, il prend le risque d'entraîner des incohérences dans les résultats produits.

C'est au moment de l'intégration que sera contrôlé l'intégrité des données.

Un entrepôt de données doit rester sous le contrôle de l'outil ETL, garant de la cohérence des données servies aux utilisateurs. Si, au moment du chargement (E), les données de références présentent un risque, c'est le processus ETL qui devra faire remonter l'erreur aux utilisateurs gestionnaires des dites données de références.

[Jester]

Pour ma part, j'utilise des fichiers excels sur des répertoires partagés qui sont lus et mis à jours (apparition d'un nouveau produit par ex "oublié" par le responsable des données de références) par ETL. Bien sur il n'y a pas de la surrogate key par exemple, ni certains champs.

Il me semble une erreur de donner directement accès au DWH à un utilisateur , même s'il est en charge des données de réfénce. Access avec un link sur une base de données autre que le DWH a été testé, mais c'est assez lourd et les gens sont moins à l'aise avec Access. Faire une interface web pour modifier les données aurait été une idée avec plus de flexibilité, mais cela demande aussi plus de développement.

[nuke_y]

D'accord sur le fait que donner accès en direct au DWH à l'utilisateur est dangereux et qu'il vaut mieux passer par une interface de saisie web si possible.

Mais pour intervenir sur ce fil, je dirais qu'il y a aussi des données qui sont propriétés des utilisateurs et sur lesquelles les utilisateurs sont totalement maître. La difficulté dans ce cas c'est de bien
1) cerner quelles données peuvent être modifiées
2) limiter fortement le nombre d'utilisateurs qui peuvent les modifier
3) ne jamais utiliser ces données pour du reporting sans indiquer que les données sont saisies par des utilisateurs

Mais il existe des dizaines de bonnes raisons pour lesquelles des utilisateurs "avertis" peuvent avoir besoin de saisir des données, mais la "correction" n'en est pas une.

[Jester]

Mais il existe des dizaines de bonnes raisons pour lesquelles des utilisateurs "avertis" peuvent avoir besoin de saisir des données, mais la "correction" n'en est pas une.

Corriger des données venant d'une source d'une autre compagnie ou sur laquelle on a aucun pouvoir.

Mais là je prend les demandes moi-même et je les intègre à l'ETL, car une modification sur une table de fait peut en fait être une correction d'une erreur qui se retrouve dans plusieurs tables de fait et donc on perd l'homogénéité (de l'erreur ou de la justesse).

Parce que là sauf à avoir un système coûteux, une erreur, peut au pire jamais se voir, et souvent prendre beaucoup de temps à corriger.

[doc malkovich]

Corriger des données venant d'une source d'une autre compagnie ou sur laquelle on a aucun pouvoir.

Mais là je prend les demandes moi-même et je les intègre à l'ETL, car une modification sur une table de fait peut en fait être une correction d'une erreur qui se retrouve dans plusieurs tables de fait et donc on perd l'homogénéité (de l'erreur ou de la justesse).

Hum, j'ai l'impression que tu parles plus de "nettoyage" que de "correction".
Pour moi, la correction concerne des données erronées en base, et on les met à jour avec des valeurs corrigées. Mais ces cas restent exceptionnels et doivent respecter une procédure rigoureuse ( validation, traçage, communication, etc ... ). Mais il n'y a pas besoin de passer par l'ETL pour ça.