[ETL/ELT] Définition - Documentation

[Melvine]

Salut,

Est ce que quelqu'un aurait un cours qui explique le principe de fonctionnement des ETL ?Parceque apparament on parle aussi de ELT.

Quelle difference existe t il entre tous ces outils ETL atastage,Informatica,sunopsis,dts ???

Si une personne qui les utilise pouvait repondre,sa serai enrichissant pour tous le monde je pense.

Merci beaucoup.

[SQLpro]

ETL : Extract, Transform and Load.
ELT : Extract, Load and Transform.
La phase transform est donc assuré par le SGBDR dans le cas 2.

Lire le papier de Cyril Gruau sur ce site qui présente l'ETL de MS SQL Server v 2000.

A +

[donny]

moi aussi cela m'interesse.
Est-ce qu'il n'y aurai pas un cours qui explique le processus etl en details ?
les differentes etapes ?

Ou par exemple une personne du forum qui travaille sur un etl,qu'elle nous explique le fonctionnement d'un outil etl comme par exemple informatica, sunopsis.

Merci

[abdelelomari]

Voici une breve description des ETL/ELT :

Que ce soit ETL ou ELT il s’agit d’extraire, transformer et Charger. L’extraction consiste à extraire les données à partir de sources homogènes, la transformation s’occupe de nettoyer, conformer, standardiser, documenter, corriger, dé dupliquer… les données, et le chargement consiste en l’alimentation de l’entrepôt de données.
L’ETL/ELT est la composante la plus critique et la plus complexe d’un entrepôt de données. La mise en place de cette composante peut consommer jusqu’à 70% du temps/effort alloué au projet d’entrepôt de données. Selon Ralph kimball, elle s’agit d’un système complexe qui peut facilement être décomposé en 38 sous systèmes.

À notre avis, la différence entre les deux approches ETL et ELT est plus qu’une simple permutation de l’ordre des lettres, il s’agit plutôt d’un changement important dans les méthodes d’alimentation des entrepôts de données.

Qu’est ce que L’ETL (ETC en français):
Il s’agit de l’approche dite traditionnelle pour alimenter un entrepôt de données. Les outils qui s’inscrivent dans cette logique disposent en général d’un moteur (engine) et sont installés sur des serveurs distincts. Tous les traitements de transformation se font par le biais du moteur ETL. On peut citer par exemple Informatica, cognos decisionStream...C’est l’approche la plus étendue actuellement.

Qu’est ce que l’ELT (ECT en français) :
L’approche d’ELT (Extraction, Loading, Transformation), génère du code SQL natif pour chaque moteur de base de données impliqué dans les processus - sources et cibles. Cette approche profite des fonctionnalités de chaque base de données, et les requêtes de transformation doivent respecter la syntaxe spécifique à l’SGBD. C’est l’approche de Genio (hummingbird) et de sunopsis.

Et si l’on mixait les deux approches ?
Effectivement Business Object avec la suite Data integrator offre les avantages des deux approches.

[donny]

Comment cela fonctionne mais au niveau technique ?

Comment un etl fonctionne sur un exemple concret ?

[Melvine]

merci
Dans ETL, il y a le T de transform,on peut trouver quoi comme transformation ?sur des date comme par exemple recuperer que l'année ?uniformisé des code postaux ?

Dans ta phase ETL tu utilise des table temporaire ?

[rstephane]

Sur Informatica tu as pas mal de fonctions de base comme les conversions, les manipulations de chaînes de caractères, les calculs et agrégations... Pour les calculs plus complexes tu peux aussi utiliser les procédures stockées sous Oracle.
Qu'entends-tu par utiliser des tables temporaires?
Sinon je vais bientôt être formé sous un nouvel ETL (Genio), je pourrais te donner mes impressions

[Melvine]

des tables dans lequelles tu stocke le resultat apres transformation avant de le charger dans ta base ou ton dwh final;

donc tu utilise les procedure stocké pour les transformations plus complexes et qu'entends par la ?si tu avais un exemple cela me permettrait de mieux saisir la chose;

merci

[rstephane]

Moi l'ETL que j'utilise fonctionne en mode ligne à ligne: il lit les infos à partir de la source, fait les transformations nécessaires et enregistre les données à la volée dans une cible, la source et la cible pouvant être un fichier ou une table (Oracle...).
Tu peux créer une table intermédiaire (table ODS) pour stocker les résultats intermédiaires que tu pourras ensuite utiliser comme source pour réinjecter les données dans ta table finale (cible).

Que souhaites tu savoir exactement? Quel type d'exemple aimerais-tu avoir?

[Melvine]

j'aurai aimé avoir des exemple de procedure stocké qui te permette de realiser des transformations .
Pour quelle type de transformation ?

[rstephane]

Moi j'ai développé une procédure stockée, qui, à partir d'une table RH Oracle permet de calculer le temps de présence journalier d'un salarié (données issues d'une badgeuse) à partir d'un matricule et d'une date passés en paramètre. Sous l’ETL il suffit d’insérer un composant "Procédure Stockée" qui va exécuter la procédure pour chaque couple matricule/date passé en paramètre.
J’ai aussi utilisé une procédure permettant de vérifier les contraintes d’intégrités d’une table.

[Melvine]

sous informatica c'est bien cela ?
tu crée ta procedure sous informatica et tu recupere les données de ta base oracle ?ou bien la procedure stockée est crée sous oracle et tu l'appel sous informatica ?

[rstephane]

Oui, c'est sous informatica. Dans ce cas j'utilise une procédure stockée Oracle (développée sous Oracle). Quand tu veux utiliser une procédure stockée dans un flux d'alimentation il faut l'avoir préalablement importée.
Avec Informatica tu cliques sur "importer une procédure stockée", tu saisies l'instance, le user et le mot de passe, tu choisis la procédure que tu veux utiliser, tu fais ok et ta procédure apparaît sur ton écran de travail (Et tu vois tous les ports d'entrée/sortie de ta procédure). Ensuite tu n'as plus qu'à la connecter au reste de ton flux

[Melvine]

comme tu travail sous informatica,donc tu es sous unix;
tu utilise beaucoup de script shell ?ne serait ce que pour lancer ton referentiel ?tes worflow?

[rstephane]

Oui, en effet, dès que tu as besoins de passer des paramètres à tes workflows tu dois utiliser unix. L’utilisation des scripts shell dépend de la façon de travailler des entreprises. Dans mon cas il faut compter un script de lancement par worflow.

[billyrose]

bonjour à tous
j'ai été tres édifiée par ce débat
mais j'ai une question.le fait qu'un ETL stocke les données transformées dans une table temporaire fait en sorte qu'on perd en temps lors du rafraichissement du DW. je me demande alors si on utilise plutot un ELT? qu'est ce qui se passerait? est ce que la transformation est directement intégrée dans la DW?
merci

[frederic_s]

Bonjour


En ce qui concerne Datastage, toutes les opérations se font en mémoire et ensuite, on décharge dans la table cible avec un commit tous les n lignes (paramètrage)

Sunopsis travaille en base cible ou source et travaille donc dans des tables temporaires. Les lignes en erreurs sont stockées dans une table spécial.

En ce qui concerne OWB (Orale Warehouse Builder), c'est du pur oracle donc il travaille en base et sur des tables temporaires.

Je suis en auto-formation sur Informatica donc je ne peux pas parler.


Le fait de travailler dans une table temporaire puis vidée dans la table cible ne ralentit pas vraiment le processus. Il faut considérer que tu auras fait des tests au préalable qui te permettront de savoir si UPDATE ou INSERT. Dans tous les cas, ce sera en masse que les opérations se feront.

Ensuite dans un projet de DWH de grande envergure, tu vas travailler avec 3 users:

SOURCE ===> ODS ==> DWH

Tous les calculs se feront dans l'ODS et le chargement dans DWH se fera directement.

En espérant avoir apporter une petite pierre à ton édifice

Frédéric

[bob23]

Bonjour

je débute en ETL/ELT et je vois que les 2 modes m'interessent !! Comme je ne peux pas me décider entre ETL et ELT existe t il par un produit qui permette de faire les 2 (ou suisje obligé d aprendre 2 produits :'( )
Bob

[co2]

Envoyé par bob23

Bonjour

je débute en ETL/ELT et je vois que les 2 modes m'interessent !! Comme je ne peux pas me décider entre ETL et ELT existe t il par un produit qui permette de faire les 2 (ou suisje obligé d aprendre 2 produits :'( )
Bob

Talend Open Studio dispose
- de composants ELT (compatible Oracle, MySQL et tres bientot terradata) afin de réaliser tes jointures (INNER, LEFT OUTER JOIN, RIGHT OUTER JOIN, FULL OUTER JOIN, CROSS) entre les tables d'une même base
-des composants ETL (plus d'une centaine en 2.1.0M1) afin réaliser toutes les autres opérations!

C'est Open Source et gratuit donc n'hésite pas à aller télécharger et évaluer la solution (http://www.talend.com)

[caballero]

Connaitriez vous un livre, guide sur les concepts ETL, méthodologie ?

Ainsi qu'un bouquin sur la méthodologie ETL avec SQL Server 2005.

Thibaut.