ETL où est il installer?

[Hailey]

Bonsoir,
je dois faire un exposé sur le ETL dans le cadre de mon cours de système d'information et je bloque sur un point. (Ça doit être assez général.)
Où est installé le logiciel ETL? ou se fait la transformation?

Le logiciel est installé sur les postes, bdd sources et aussi dans la datawarehouse? ou uniquement sur l'un? (et dans ce cas à quel moment et sur quel poste se fait la transformation )
ou sur un poste spécifique dédié à l'ETL (si c'est ce cas c'est un ordinateur ou quelque chose de plus spécifique)?

Merci d'avance pour votre aide.
(Je ne voudrais pas paraitre impolie mais je suis assez pressée.)

[Glutinus]

Tu mélanges effectivement un peu tout.

ETL c'est plus une logique, et effectivement une suite logicielle.
Très souvent sont installés sur des postes de développeur la partie qui permet de développer. Pour prendre l'exemple d'Informatica (que je connais le mieux), tu as le Designer PowerCenter pour "développer", le workflow manager pour créer le workflow, le workflow manager pour surveiller.

Le moteur ETL quant à lui tourne à 99% du temps sur un serveur qui lui est dédié. Ce serveur n'est pas (ou alors c'est une mauvaise architecture) le serveur où se trouve la base de données, ce que tu appelles le DWH.

Donc pour résumer :

N postes dédiés aux bases de données.
N postes (souvent 1) dédié à l'ETL.
N postes dédiés au développement des flux.

C'est l'architecture la plus simple et la plus connue ; maintenant pour des raisons de coûts, si tu veux faire des calculs pour un petit magasin et non une banque immense, tu peux imaginer qu'il y a un seul poste qui va gérer tout ça.

[doc malkovich]

Bon résumé mais ...

Envoyé par Glutinus

Le moteur ETL quant à lui tourne à 99% du temps sur un serveur qui lui est dédié. Ce serveur n'est pas (ou alors c'est une mauvaise architecture) le serveur où se trouve la base de données, ce que tu appelles le DWH.

Oups. A ce que j'ai pratiqué, la plupart du temps le moteur ETL était sur le serveur du SGBD, architecture préconisée par l'éditeur pour éviter les flux réseau importants

Remarques :

1. en mode ELT la transformation se fait directement dans le SGBD.
2. ça dépend aussi des environnements, par exemple en dev tu peux avoir un moteur ETL sur le client de dev ( odi ).

[Glutinus]

Envoyé par doc malkovich

Bon résumé mais ...

Oups. A ce que j'ai pratiqué, la plupart du temps le moteur ETL était sur le serveur du SGBD, architecture préconisée par l'éditeur pour éviter les flux réseau importants

Remarques :

1. en mode ELT la transformation se fait directement dans le SGBD.
2. ça dépend aussi des environnements, par exemple en dev tu peux avoir un moteur ETL sur le client de dev ( odi ).

J'essaie de me souvenir et tu me refiles un doute affreux. Il est possible effectivement qu'on ait des architectures qui soient alors sur la même machine.

[Hailey]

merci beaucoup pour vos réponses, c'est beaucoup plus claire.

Mais j'ai encore une question.
Si j'ai bien compris, les sociétés comme talend et informatica font des logiciels ETL mais c'est au entreprise de les développer/personnaliser en fonction de leur besoin? Le produit de base acheté à l'éditeur est la même pour tous?

[Hailey]

Envoyé par Glutinus

J'essaie de me souvenir et tu me refiles un doute affreux. Il est possible effectivement qu'on ait des architectures qui soient alors sur la même machine.

dans ce cas où se trouve la SGBD?

[doc malkovich]

Envoyé par Hailey

Si j'ai bien compris, les sociétés comme talend et informatica font des logiciels ETL mais c'est au entreprise de les développer/personnaliser en fonction de leur besoin? Le produit de base acheté à l'éditeur est la même pour tous?

Oui, à part que généralement tu as différentes options et modules en fonction de ta licence. C'est un peu comme quand tu achètes une voiture, tu as différents niveaux d'équipement et les options à la carte.
Mais tu ne redéveloppes pas le produit, tu fais juste des traitements d'alimentation avec ( ta question n'est pas claire sur ce point )

Envoyé par Hailey

dans ce cas où se trouve la SGBD?

Sur un serveur ?
Dans le cas général tu as un seul SGBD pour le Datawarehouse, hébergé sur un seul serveur.

[Jc-balt]

Envoyé par Hailey

merci beaucoup pour vos réponses, c'est beaucoup plus claire.

Mais j'ai encore une question.
Si j'ai bien compris, les sociétés comme talend et informatica font des logiciels ETL mais c'est au entreprise de les développer/personnaliser en fonction de leur besoin? Le produit de base acheté à l'éditeur est la même pour tous?

Envoyé par doc malkovich

Oui, à part que généralement tu as différentes options et modules en fonction de ta licence. C'est un peu comme quand tu achètes une voiture, tu as différents niveaux d'équipement et les options à la carte.
Mais tu ne redéveloppes pas le produit, tu fais juste des traitements d'alimentation avec ( ta question n'est pas claire sur ce point )

Chez les éditeurs, tu auras le choix entre plusieurs versions: version de base, version moyen et haut de gamme. La licence reflète en effet cet aspect là. En plus, tu auras différents modules, options, etc qui seront aussi pris en compte dans ta licence.
Plus spécifiquement, chez les éditeurs Open Source, les entreprises peuvent personnaliser le logiciel en créant des composants, souvent redistribué à la communauté. Si les entreprises trouvent des bugs, ils en font part à l'éditeur open source, qui le corrigera. Et rendra le produit encore plus attrayant pour l'entreprise et la Communauté.