Discussion :

[Keldou]

Bonjour,

étant encore novice sur l'alimentation des données dans un Datawarehouse, je me posais des questions concernant une application existante.

Je gère une solution "sales" standard qui intègre des fichiers plats (des exports csv) avec des indicateurs de ventes et des axes d'analyses comme les clients, boutiques, date de vente, etc...

Contexte: Une structure fixe et standard a été mise en place pour intégrer les données des différentes boutiques.

Par contre, cela n'empeche pas que chaque boutique doit effectuer des opérations (manuel ou automatique) laborieuse avant l'envoie des données pour coller à la structure.

Ca découle donc sur un nombre important d'erreurs lié à la création de ces export (une colonne en trop, un mauvais choix de séparateur, etc...)

Donc j'aimerais connaitre votre avis sur ce genre de cas. Avez vous déjà tenté de mettre en place des solutions qui permettent de récupérer des données sans cette contrainte de "structure fixe ".

Je voudrais (pour ne pas dire "Je rêve" ) une appli capable d'intégrer tout un tas de fichiers "vente" et de récupérer les données commune mais sous formes différentes.

J'entend souvent parler de "données non-structurées". Existe-t-il des outils capables de répondre à ce genre de besoin sans pour autant développer une application purement spécifique?

Merci d'avoir pris le temps de me lire!

[Waldar]

Le format XML est là pour ça.
Attention toutefois, ça ne se conjugue pas très bien avec de la grosse volumétrie.

Le plus propre c'est d'automatiser les extractions, comme ça plus de surprise.

[Keldou]

C'est justement là le problème, impossible d'automatiser les extractions.
Trop d'acteurs et de niveaus de maturité différents entre les boutiques. (certaines ont un vrai SI d'autre des excels...)

J'aimerai une gestion dynamique de la structure en fait. Exemple d'entête:
le fichier 1: Client;date;vente
le fichier 2: date,vente,client
le fichier 3: "vente";"date";"client"

Un ETL peut reconnaitre dynamiquement ce genre de structure ?

[doc malkovich]

Question intéressante mais les ETL que je connais ne gèrent pas ce type de structure dynamique

On pourra toujours te donner de bonnes raisons comme :
- il est impératif de connaître la structure à l'avance, sinon c'est la porte ouverte aux erreurs ;
- c'est impératif pour les métadonnées et le référentiel de l'ETL ;
- il vaut mieux aider les clients à fournir des fichiers corrects ;
- les mappings s'appuient sur la position des colonnes.

C'est vrai que c'est dommage, l'entête ne sert à rien dans la majorité des cas.
Peut-être l'occasion d'apporter ta pierre à l'édfice de la BI ?

[Jester]

Pour l'exemple donné Kettle peut gérer de l'injection de meta-données (étape 1 le job détecte la structure via la première ligne puis étape 2 l'ETL en lui-même), mais ce n'est pas évident à manipuler.

S'il y a une doc précise, la question se résume à savoir que faire des boulets, c'est un problème de gouvernance. La solution consiste généralement à looper un N+x commun qui reply all en mettant la pression.

Laisser faire et mettre la gestion des problème de ton coté n'est pas une solution saine je pense. C'est peut-être la seule mais il faut essayer de l'éviter.

[Keldou]

Merci pour vos réponses.

En terme business, je vais aller dans le sens de Jester. J'aime beaucoup l'idée d'un abonnement SSRS avec comme destinataire le responsable du fichier et le n+1 en copie.

Pour lmon coté "geek", je vais m'informer sur Kettle

Merci!