Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Alimentation Discussion :

Concevoir une solution ETL


Sujet :

Alimentation

  1. #1
    Candidat au Club
    Homme Profil pro
    Chercheur en informatique
    Inscrit en
    juin 2013
    Messages
    2
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Tunisie

    Informations professionnelles :
    Activité : Chercheur en informatique
    Secteur : Finance

    Informations forums :
    Inscription : juin 2013
    Messages : 2
    Points : 3
    Points
    3
    Par défaut Concevoir une solution ETL
    J'ai commencé le BI depuis peut de temps et je me pose plusieurs questions.
    Merci d'avance pour votre aide

    -pourquoi et comment Créer un Zone de préparation (Staging Area) ?
    - comment charger les données dans les tables des dimensions et de fait tout en respectant la cohérence entre les données source et le données cible
    (comment faut-il remplir la table de faits ? Il faut mettre les identifiants des dimensions mais comment le lien entre les dimensions peut se faire?)
    - comment faire les jointure avec les dimension et la table de fait? affectations des clés de substitution (surrogate key) ?
    - comment lier table de fait au dimension temps?

    merci de m'expliquer avec d'exemple pratique car je rien compris avec les définitions et le théorique ...

  2. #2
    Membre averti
    Homme Profil pro
    Ingénieur en études décisionnelles
    Inscrit en
    février 2013
    Messages
    125
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 27
    Localisation : France, Nord (Nord Pas de Calais)

    Informations professionnelles :
    Activité : Ingénieur en études décisionnelles

    Informations forums :
    Inscription : février 2013
    Messages : 125
    Points : 334
    Points
    334
    Par défaut
    Bonjour,

    Créer une zone de staging est utile dans ces cas-là :
    • Pré-charger dans une table de votre DWH les données sources provenant de l'extérieur (fichiers, BDD opérationnelle...)
    • Mener des pré-traitements lors de certaines jointures complexes
    • Séparer les traitements afin de ne pas insérer directement en production


    L'ETL que j'utilise construit dynamiquement ces tables de staging, qui ont la même structure que la table de production, et en préfixant d'un L_ (pour le load depuis l'extérieur) ou d'un I_ (pré-intégration). Pour ma part, j'utilise parfois des tables temporaires (cas 2) avant d'alimenter le reste.


    Pour votre deuxième question, eh bien... en vérifiant. Si vous avez 50 lignes à insérer en source, mais que vous n'en récupérez que 40, peut-être qu'il y a un mauvais filtre ? Une primary/foreign key non respectée ? Un champ qui s'alimente à null alors qu'il ne devrait pas l'être ? Tout ça, c'est le travail du designer du flux que de recetter son développement. Pensez également à gérer des tables de rejets, vous trouverez sans doute plus de documentation sur le net.

    Vos deux autres interrogations + le lien avec les dimensions de la 2e question sont des questions de reporting. Avez-vous un outil de reporting (comme Business Objects) qui permet de visualiser les données ?
    Un tel outil permet de joindre les tables entre elles dans des univers, et donc de créer dynamiquement les requêtes SQL qui vous permettront de piloter vos données.
    Un ETL ne permettra pas cela.

    Bon courage.

Discussions similaires

  1. Vendre une solution avec ETL open source
    Par Juliana dans le forum Alimentation
    Réponses: 20
    Dernier message: 17/09/2008, 14h35
  2. XML / Xpath -> une solution avec Builder?
    Par say dans le forum C++Builder
    Réponses: 3
    Dernier message: 12/05/2005, 11h56
  3. Réponses: 2
    Dernier message: 25/04/2005, 09h55
  4. Mise en place d'une solution Data Guard 9i R2
    Par user_oracle dans le forum Oracle
    Réponses: 4
    Dernier message: 16/02/2005, 10h12
  5. Réponses: 5
    Dernier message: 08/01/2004, 16h48

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo