Discussion :

[stylor]

Bonjour,

Dans le DW actuel pour la dimension client, il y a plusieurs fois le même client mais ayant une référence différente (identifiant du système transactionel).
Ca engendre des erreurs au niveau des chiffres et calculs.

J'ai l'impression qu'il est difficile de résoudre ce problème.
La 1er piste était de se baser sur le nom et prénom mais comme vous le savez, il est tout à fait possible d'avoir un même nom et prénom pour 2 personnes différentes. L'autre piste est l'adresse email mais elle n'est pas toujours encodé et une même personne peut avoir différentes adresses email. Il en va de même pour la date de naissance, elle n'est pas toujours encodée ou bien encodé une fois sur deux pour un même client.

Comment peut-on améliorer la qualité des données ?

[Waldar]

Ça se fait en amont du DWH, avec la mise en place d'un process MDM qui ira réconcilier toutes ces informations dans un seul espace unique, et qui a aussi vocation à devenir source des applications tierces.

C'est un process à la fois technique et humain.
Technique car lorsqu'on a le même individu avec le même nom, le même prénom, le même mail et le même numéro de téléphone, on peut supposer que c'est la même personne.
Humain car il faut bien arbitrer les cas non réconciliables automatiquement.

Informatica notamment propose des outils de MDM que je ne connais pas mais dont j'ai eu de bons échos.

Bon courage, c'est en effet la brique la plus complexe lorsqu'on alimente un DWH.

[stylor]

Microsoft aussi propose des outils dans ce sens avec notamment leur DQS et MDS.
C'est un processus long et complexe a montre en place. Il n'y a donc pas de solution miracle.

[doc malkovich]

Hello,

Il y a en effet les solutions de MDM ou de DQ/Data Quality.
C'est un problème classique de dédoublonnage et c'est trop complexe pour être géré via un script maison.
Pour avoir une idée, ici un tuto sur talend en utilisant un composant de data quality.

Bon courage

[stylor]

Merci, je vais jeter un coup d'oeil