Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter
qualité des données
Bonjour,
J'aurais aimé avoir un retour sur vos expériences concernant la gestion de la qualité des données lors de vos ETL's.
JE sais que pas mal de logiciels permettent de faire face à ce "fléau" mais dans mon cas (comprendre client), nous sommes pour l'instant restés à du developpement pl/sql pour les ETL.
merci pour votre retour.
Comme toujours la qualité ça demande du temps. Il faut que ce soit une volonté forte de la DSI voire de la direction générale.
Après PL/SQL ou ETL graphique c'est pas ça qui va changer grand chose.
Bonjour,
Merci pour votre réponse, mais par ce post je souhaitais faire partager vos connaissances sur les techniques (via soft ou pas) permettant de résorber ces problèmes de qualités de données.
Merci
Je rejoins Jester sur son analyse.
Que tu utilises un ETL ou du PL/SQL ne changera rien à la qualité de données. Les outils ETL peuvent être couplés avec des outils spécifiques de qualités de données et les MDM pour la gestion référentielle des données. Mais la qualité ne tient pas à un outil mais à une infrastructure orientée qualité et à une véritable volonté de la DSI.
Tu peux utiliser tous les outils que tu veux, si une donnée est saisie plusieurs fois par des acteurs différents au sein de ton SI (ressaisie, vues différentes de la même données), il y a un risque non négligeable.
La qualité de données est une démarche globale qui nécessite une véritable révision de son infrastucture et de ses processus métier.
Pour revenir sur la question de Go_Ahead, de mon coté je ne suis jamais tombé sur un projet qui avait investi dans un module spécifique de gestion de données.
J'ai toujours géré ça avec l'outil ETL standard.
A part peut-être récemment, on a fait quelques analyses de qualité de données avec l'outil gratuit de Talend (Talend Open Profiler). Mais c'était juste des études one shot, pour nous aider à définir les règles de gestion qui allaient être mises en place.
Nicolas
Il y a un ensemble d'erreurs qui sont gérables du coté BI
1 - Une ligne unique qui ne l'est pas. Si du coté DWH il y a des contraintes d'unicité normalement ça fait sauter la chaîne décisionnelle. Dans ce cas on corrige souvent en mettant un distinct ou group by sur la requête du système source.
2 - Une valeur nulle qui ne devrait pas. Là il faut trouver une valeur à la place, soit une constante par défaut soit regarder dans d'autres systèmes.
3 - Une ligne du système source qui n'existe plus. Du coup si on fait une jointure dessus, on a plus rien. Dans ce cas, il faut mettre une jointure externe en place d'une interne et des valeurs par défaut ou correction niveau DWH.
4 - Données de références du système source pourries. Il faut les surcharger dans le DWH.
Bien sur, on remonte le problème en amont en premier. Normalement on ne devrait avoir à faire que ça. En pratique ...
Salut,
Merci pour vos réponses, mais j'ai actuellement un système qui pourrit mon DWH. En effet j'importe tous les systèmes sources vers le staging, ensuite je les insères dans mon dwh en les historisant mais...
il y a plusieurs tables qui n'ont apparemment pas de clés primaires, et impossible de faire des conditions dessus... que feriez-vous dans ce type de situation dans laquelle vous n'avez pas la main sur ce système (contraintes de temps et grosse structure...) et qui biaise l'information restituée.
merci
Difficile à dire sans savoir, si c'est un problème de qualité où il y a des doublons et des manquants, il faut appliquer des règles mentionnées plus haut. Si c'est que vous ne comprenez pas la structure, il faut voir avec les dev s'ils sont en interne ou avec toute personne qui peut servir.
Salut Go_ahead,Envoyé par Go_Ahead
Comment va ton probleme depuis ton post?
Comme dit Jester, sans etre devant, compliqué de te donner une réponse claire. Tu pourrais regarder comme mentionné plus haut, des outils de profiling, comme Talend Open Profiler. Il te permettront de connaitre où sont tes problèmes de qualité de données.
Si tu nous donnais quelques précisions supplémentaires on pourrait t'aider encore mieux
JCB
Salut Jc-balt,
Merci pour ton message.
Tout d'abord, les problèmes de qualité de données sont situés au niveau des systèmes sources (exemple de problèmes : les 3 premiers points cités par Jester + ceux que j'ai cité).
Après quels détails seraient susceptible d'aider à la compréhension de mon problème ?
Merci.
Fiabilisation de données
Le problème de la qualité des données est récurrent dans les systèmes d'information.
Il est nécessaire de traiter simultanément la correction des données et les causes d'anomalies, sinon on ne fait que remplir le tonneau des Danaïdes...
Les anomalies dans les données peuvent provenir :
- Du chargement initial, à partir d'un autre système dans lequel les données étaient corrompues.
- Des règles de migration qui ont été utilisées pour charger nouveau système
- De bugs applicatifs dans le nouveau système qui propagent des anomalies.
Il convient de faire une analyse des effets négatifs pour se concentrer là où cela fait mal.
En fonction des besoins, des campagnes de fiabilisation peuvent être menées. Les outils de détection d'anomalies peuvent être packagés pour être exécutés régulièrement et piloter la qualité des données, en lien avec la qualité du code pour corriger les bugs.
Il y a des sociétés spécialisées avec des outils dédiés et la méthodo qui va bien, on gagne souvent du temps et de l'argent à les faire travailler. Cf http://www.movesol.com/base-de-donne...on-de-donnees/
A l'heure du big data, la problématique de la qualité des données est cruciale, mais très peu de DSI ont des programmes de fiabilisation des données.
Il n'y a pas d'analyse des coûts supplémentaires induits par les problèmes de qualité de données et donc pas de budget pour cela. Les utilisateurs sont habitués à avoir des soucis et ne se plaignent plus.
Les seuls projets que j'ai faits l'ont été à l'initiative de directions commerciales qui se faisaient tacler par leurs clients auxquels ils présentaient des données statistiques fausses.
Après analyse, les anomalies venaient de l'outil de gestion et généraient des non qualités dans les travaux des utilisateurs et augmentaient les coûts de gestion.
Vous avez un bloqueur de publicités installé.
Le Club Developpez.com n'affiche que des publicités IT, discrètes et non intrusives.
Afin que nous puissions continuer à vous fournir gratuitement du contenu de qualité, merci de nous soutenir en désactivant votre bloqueur de publicités sur Developpez.com.
Répondre avec citation
Partager