Discussion :

[doc malkovich]

Et qu'un ETL utilise un moteur ou génère du code, la relation aux données traitées est la même. (n'hésitez pas à réagir à cette affirmation si vous y voyez des contre-exemples).

Hum, je suis pas d'accord avec toi nico, un générateur de code peut justement traiter les données directement dans le SGBD, alors qu'un moteur lui ne peut pas les traiter comme ça.

Je m'explique, on a la table B qui est alimentée par la table A par exemple en agrégat.
- un moteur va d'abord aspirer toutes les lignes de la table A, puis les grouper pour les sommer sur son serveur, et enfin va insérer les lignes résultantes dans la table B.
- un générateur de code peut envoyer des ordres sql ensemblistes directement au SGBD ( ici par ex au mieux il générera un "INSERT INTO B SELECT SUM(... ) FROM A GROUP BY ... " )

Ici le moteur va "voir " les données, et les traiter.
Le générateur lui ne les verra même pas ...

C'est un fonctionnement général, bien sûr on peut forcer un générateur à fonctionner comme un moteur, ou un moteur à faire de l'ensembliste même si ce n'est pas son fonctionnement courant ...

[DevNico]

Hum, je suis pas d'accord avec toi nico, un générateur de code peut justement traiter les données directement dans le SGBD, alors qu'un moteur lui ne peut pas les traiter comme ça.

Ah mais là tu parles d'ELT, et non d'ETL.

Mais bonne remarque. Est-ce que tous les ELT sont des générateurs de code ?

[doc malkovich]

Ah mais là tu parles d'ELT, et non d'ETL.

Hum, là pour moi c'est du marketing
Avant ils étaient tous des ETL, puis est apparu le terme d'ELT pour différencier certains générateurs de code ...
Par exemple sunopsis était vendu comme un ETL, et peu avant son rachat par oracle il s'est changé en ELT ... ou comment faire parler de soi en jouant sur les mots

[DevNico]

Hum, là pour moi c'est du marketing
Avant ils étaient tous des ETL, puis est apparu le terme d'ELT pour différencier certains générateurs de code ...
Par exemple sunopsis était vendu comme un ETL, et peu avant son rachat par oracle il s'est changé en ELT ... ou comment faire parler de soi en jouant sur les mots

Ah là c'est moi qui ne suis pas d'accord. ETL et ELT désignent 2 fonctions différentes. (Il y a un article qui décrit ça ici, mais je n'ai pas été capable de le retrouver)

Et à mon avis, la différence a un impact non négligeable sur la façon de coder, les perfs et la stratégie d'alimentation.

Nicolas

[doc malkovich]

Ah là c'est moi qui ne suis pas d'accord. ETL et ELT désignent 2 fonctions différentes. (Il y a un article qui décrit ça ici, mais je n'ai pas été capable de le retrouver)

Si tu retrouves l'article, ça m'intéresse !!!
Sérieusement, on parle toujours d'ETL pour les applications d'alimentation décisionnelle, et ils se déclinent en 2 quand on parle du fonctionnement : ETL et ELT.
Par exemple, sunopsis/ODI travaille en ELT, mais il fait partie des ETL ...
Donc quand on parle d'ETL on parle :
- soit des applis d'alim en général
- soit du fonctionnement de ces applis

Ca me fait penser au terme "décisionnel", ça regroupe beaucoup de choses, dont le "vrai" décisionnel, qui permet d'aider à la décision, et le reste, qui n'aide pas du tout à la décision, comme les tableaux de bord réglementaires, etc ...
Pour moi le décisionnel est un domaine encore jeune, et il souffre de nombreuses erreurs de jeunesse, comme la sémantique
Enfin comme on dit, la jeunesse est un vilain défaut dont on se corrige assez vite ...

Et à mon avis, la différence a un impact non négligeable sur la façon de coder, les perfs et la stratégie d'alimentation

Ehehe, là je suis d'accord avec toi

[DevNico]

J'ai retrouvé le post :
http://www.developpez.net/forums/d10...documentation/

C'est vrai que ETL est une généralisation utilisée pour les 2 types d'outils.


Ta vision du décisionnel est intéressante. Moi j'aurais plutôt dit qu'on rentre justement dans la phase de maturation du décisionnel (concentration des outils suite aux rachats, challengers venus de l'Open Source).
Même du point de vue de la gestion des projets décisionnels, ils n'ont pas grand chose à envier à n'importe quel projet informatique.

Bon, on a un peu piraté le sujet de fafoula (désolé), mais discussion intéressante.

[co2]

Dans ce cas on gère donc les méta data? c'est ça?

Juste pour te donner qq exemples de qu'est ce que cela veut dire qu'un outil d'intégration (je ne parle pas d'ETL de peur de relancer la discussion ETL ELT ) est metadata driven :

-Un premier exemple pourrait etre que tu as au sein d'un job de connecter à d'autres composant un lookup dans une base de données (afin de retrouver le nom de tes clients à partir d'un ID). Si le mode de stockage change (par exemple on remplace la BD par un Webservice) mais que le flux de ton lookup est identique (ton webservice renvoie la meme chose que ta base, une colonne ID et une colonne nomClient) et bien tu as juste à faire un remplacement de ton composant BD par ton composant WebService et le tour est joué. Tu n'auras aucun impact avec les composants liés à ton composant WebService car tous les composants travaillent uniquement sur les metadonnées de sortie du composant précédent et non la nature du composant précédent.

Un deuxieme exemple montrant les possibilités que les metadata peuvent t'apporter :
-si tu fais un job en talend (disons qu'on utilise des bases MySQL), les métadata (définition de ta base de données, url, port, login... / définition de tes tables, nom des champs, tailles des champs, types, commentaires...) sont fédérés dans un référentiel (le metadata manager). Tu peux y accéder et par exemple resynchroniser avec les tables physique de ta base de données. Tu peux trouver tous les jobs qui utilise cette metadata afin de faire une analyse d'impact avant de faire des betises. Disons que tu décides de modifier le nom d'un champ, Talend va te demander si tu veux propager tes modifs dans les jobs de façon automatiquement (tu peux auissi le faire mannuellement). Tu cliques sur automatique, tu n'as meme pas à ouvrir les jobs et tous tes jobs utiliseront les nouveaux nom de colonne sans avoir à ouvrir tes jobs.

J'espere que ces petits exemples te permettrons de mieux comprendre l'intéret des metadonnées dans les outils d'integration de données (que ce soit des moteurs ou des générateurs de code)

[cilia]

Bonjour Fafoula,
Je suis en stage je travaille sur les ETL. En ce moment je compare les deux ETL Talend et Kettle afin de choisir le meilleur...
Pouvez me communiquer votre travail de comparaison Merci
Cilia

[Tguru]

Bonjour Cilia. Pas mal de travaux de comparaison existent sur le net.
Je vous invite à lire une étude de Manapps présentant plusieurs outils de business intelligence:

http://www.manapps.tm.fr/pdfETL/ETLB...pps 090203.pdf

Et un benchmark Talend de Sun:
http://blogs.sun.com/aja/entry/talen...ata_processing

[jeanphisme]

Oui, tu as raison, Genio dispose d'un moteur (j'ai été un peu vite qd j'ai rédigé mon post :-O )

Sous Genio il y a deux principes, le foreach et le forall. Le foreach permet de traiter les données, lignes à lignes (comme un ETL). Cepdendant, on utilise plus souvent le forall qui est une méthode ensembliste, c'est à dire qu'on va modifier toutes les données en même temps (si tu fais un UPDATE ... where country="France", tu vas faire toutes les modifications en une fois et non faire une modif ligne apres ligne).

Co2,

Est ce que tu peux m'en dire plus sur ces 2 instructions sous Genio (foreach et forall) ? Est ce que l'utilisation d'une de ces 2 notions permet de basculer implicitement entre les 2 modes ETL / ELT ?
foreach => mode ETL (traitement executé par le moteur Genio dédié)
forall => mode ELT (code généré et transmis au SGBD pour execution)

Je n'ai trouvé aucune doc Genio ou ces 2 concepts sont explicités, peux tu m'en dire plus ?

Merci d'avance

Jean-Phi

[sauros]

Bonjour,

Je ne veux pas généraliser la définition de générateur de code, mais dans le cas de Talend, ce dernier génère QUE du code PERL ou JAVA d'après les développements faites dans l'interface WISIWIG.

Cela veux dire que le développeur "design" son job dans l'interface graphique et que le client Talend génère le code.

Ce code est indépendant de Talend, il est en PERL ou en JAVA. Ainsi une fois le code récupéré il peut être transféré sur une machine (serveur) qui est configurer pour interpréter ce langage et l'exécuter sans avoir Talend installer sur lui-même.

Par exemple, je pourrais développer mon code sur mon client Talend de mon laptop en PERL et copier seulement le code PERL sur un serveur UNIX qui l'exécutera.

[bigb18]

Quelle est la meilleure solution pour mettre en place un entrepôt de données où on a plusieurs sources de données?

[nuke_y]

Commencer par ouvrir un sujet dédié au bon endroit en donnant plus de précision