Discussion :

[randriano]

Bonjour,

Je suis encore nul en matière de BI (Business Intelligence) donc je me demande si le truc que l'on est entrain de développer est un outil ETL (Extract Transform Load)!

En fait, il s'agit d'unifier les données sur les entreprises venant de partenaires différents: registre des sociétés, caisse sociale, direction des impôts, direction des douanes, groupement d'entreprises, etc. dans une unique base MySql avec une structure de données disons "parfaite" pouvant contenir tous les détails d'une entreprise.

Il s'agit donc de prendre tout ce qui est bonne information dans chaque base des partenaires et prioriser les infos d'un partenaire par rapport à un autre, ex: pour le nom d'une entreprise, celui du registre des sociétés est prioritaire par rapport aux autres etc.

Pour info, les données livrées par les partenaires pour l'extraction et chargement sont soit en Excel (.xls), soit en CSV, et on ne sait pas encore s'il y aura des .sql

[djam21]

Hello,

C'est le principe en tout cas...

A+

[doc malkovich]

Ça y ressemble. Un ETL comme son nom l'indique permet aussi de faire des transformations sur les données.
Mais pourquoi développer un ETL ? Il existe des ETL gratuits, je te conseille de voir du côté de talend ou kettle pour te faire une idée si ça correspond à tes besoins.
a+

[randriano]

A lire les articles et les fils de forums sur ETL, il paraît que ce que l'on code est un ETL.

Mais la nécessité de le coder réside dans le fait que chaque entité (on appelle partenaire) possède leurs propres colonnes et clés primaires pour leurs données, comment les unifier en évitant les doublons. Vu qu'il n'y a pas de clé commune, des informations sont utilisées pour comparer les lignes de chaque source de données: nom de l'entreprise, numéro de téléphone, nom de dirigeant, etc.

Ou bien pensez-vous que c'est faisable avec un outil comme Talend, Kettle, etc. ?

[doc malkovich]

Oui tu peux le faire via un ETL standard comme Talend ou Kettle.
Tu peux effectuer des jointures de toute sorte sur des colonnes autres que les PK et le dédoublonnage est une pratique courante.
De plus tu as aussi des facilités pour comparer des chaînes de caractères qui se ressemblent avec certains composants ( problème courant des adresses saisies qui ne sont pas exactement les mêmes ). Pour kettle et les autres je ne sais pas.
Je vais rajouter une couche, pour ton problème d'unification des référentiels tu peux voir aussi du côté des MDM, il s'agit d'applis spécialisées pour faire des référentiels d'entreprise. Mais je ne suis pas sûr que ça couvrira totalement ton besoin. Et là aussi talend a un MDM
Contrairement à ce qu'on pourrait penser en lisant ces lignes je ne cherche pas à vendre talend, et je ne suis pas expert sur le sujet
Je te conseille plutôt de poser la question dans le sous-forum dédié pour te faire une idée plus précise

[randriano]

MDM comme master data management? Wow, un autre truc du BI.

Et si le but est de créer un outil qui sera utilisé par des personnes qui ne sont pas très informatiques, même si le graphe de transformations et de jobs est bien réalisé, travailler dans Talend ou Kettle n'est pas évident pour un non connaisseur d'où l'intérêt de développer un outil séparé ergonomique pour eux: un champ pour charger les fichiers Excel et CSV puis des boutons pour lancer les actions d'extraction et de transformation vers la base unifiée.

[djam21]

Un ETL fonctionne généralement avec des jobs...

Ton utilisateur (qui ne s'y connait pas en informatique) place son fichier de données (CSV par exemple) à un emplacement X, et ton ETL le traite de lui-même... Pas besoin d'une quelconque action de celui-ci directement sur l'ETL...

Ton application fera quoi ? Une interface où ton utilisateur sélectionnera son fichier de données et cliquera sur Run pour une éxecution instantanée ?

A+

[randriano]

Ton application fera quoi ? Une interface où ton utilisateur sélectionnera son fichier de données et cliquera sur Run pour une éxecution instantanée ?

Oui, genre ça! Ensuite sur le même truc, l'utilisateur pourra naviguer dans la base unifiée et effectuer des modifications (corrections). Pourquoi pas sortir des rapports et des états.

[doc malkovich]

Comme le dit djam tu peux mettre en place un process où l'utilisateur dépose son fichier excel qui sera traité par l'ETL, c'est très courant en BI.
Tu peux aussi avoir une interface web qui pilote l'ETL.

Pour info tu as aussi des applis qui gèrent les flux utilisateurs ( dites BPM ) comme Bonitasoft. Je n'ai jamais pratiqué mais d'après ce que j'ai lu ça peut piloter des flux ETL - ça peut être sympa pour mettre en place rapidement ce type de process.

[randriano]

Je réponds à ce sujet pour faire part de notre décision.

Nous avons décidé de développer l'outil, ce sera plus personnalisé pour notre activité, le but est de fournir un annuaire performant à partir de n'importe quels fichiers Excel ou CSV fournis par nos sources.

Les entreprises qui sont identiques selon unifiées mais pas doublonnées dans la base: critère par les identifications (SIREN, NAF, etc) puis par les raisons sociales puis par les adresses et les numéros de téléphones.

Si des données ne sont qu'à 90% et moins identiques, les passer dans la partie "gestion anomalie" et c'est une opératrice qui effectuera l'unification manuellement par quelques clics: ce gestionnaire fournit une interface de diff comme avec les gestionnaires de versions (Subversion, CVS, Perforce, git, etc.).