[Sunopsis] et les ETL générateur de code ?

[manuaccess10]

Bonjour,

J'aurai besoin d'avoir quelques informations sur le logiciel Sunopsis (et les ETL générateur de code en général), donc si quelqu'un est utilisateur:

Comment les données sont chargés (physiquement) des bases opérationnelles vers le datawarehouse (car contrairement aux ETL classique, il n'y a pas de moteur...) ?

Comment le code généré par ce type de logiciel (en SQL) et implanter sur le datawarehouse et comment est-il exécuté?

D'avance merci!
Manu

[Kikoune]

Bonjour,

Je travaille un peu sous sunopsis donc je te dirai ce que je sais de son architecture. Effectivement, il n'y a pas de moteur de transformation dans ce cas c'est la base source ou cible qui fait office de moteur. Il s'agit d'une des force de sunopsis car il n'y a pas besoin de serveur particulier et son installation consiste en gros en l'installation (copie) de quelques fichiers Java sur une machine. Par contre, il est nécessaire de prévoir la place de charger les données sur les bases.

Les transformations se font directement en SQL si elles sont légères à travers jdbc par exemple pour le chargement d'une table à une autre

Si elles sont plus complexes, c'est par le biais de tables temporaires sur la base cible ou source. Dans ce cas, il faut réserver un schéma spécifique pour les transformations et eviter de parasiter les schémas des divers logiciels/progiciels.

Par exemple, en cas de chargement d'un fichier XML, Sunopsis analyse la forme du fichier, crée le modèle relationnel correspondant et utilise les tables temporaires si les transformation sont importantes.

C'est du code SQL qui est généré automatiquement, on peut vraiment faire des interfaces complexes sans taper une ligne de code (on peut aussi y faire du java, jyton, ....), c'est vraiment très graphique et visuel.

En terme de performance, globalement et dans la mesure ou les opérations se déroulent directement sur les bases, c'est la puissance de ces dernières qui limitera les perfs.

Pour finir, nous avons monté un DataWare avec Sunopsis. Sunopsis crée automaiquement les DBlink vers les bases accedées, charge par annule et remplace ces tables dans un ODS et effectue les transformations vers le DataWare House et détruit tous les objets crées pendant les phase de chargement.

N'hésite pas si tu souhaite plus d'informations.
Philippe.

[abdelelomari]

Envoyé par Kikoune

Bonjour,

Je travaille un peu sous sunopsis donc je te dirai ce que je sais de son architecture. Effectivement, il n'y a pas de moteur de transformation dans ce cas c'est la base source ou cible qui fait office de moteur. Il s'agit d'une des force de sunopsis car il n'y a pas besoin de serveur particulier et son installation consiste en gros en l'installation (copie) de quelques fichiers Java sur une machine. Par contre, il est nécessaire de prévoir la place de charger les données sur les bases.

Les transformations se font directement en SQL si elles sont légères à travers jdbc par exemple pour le chargement d'une table à une autre

Si elles sont plus complexes, c'est par le biais de tables temporaires sur la base cible ou source. Dans ce cas, il faut réserver un schéma spécifique pour les transformations et eviter de parasiter les schémas des divers logiciels/progiciels.

Par exemple, en cas de chargement d'un fichier XML, Sunopsis analyse la forme du fichier, crée le modèle relationnel correspondant et utilise les tables temporaires si les transformation sont importantes.

C'est du code SQL qui est généré automatiquement, on peut vraiment faire des interfaces complexes sans taper une ligne de code (on peut aussi y faire du java, jyton, ....), c'est vraiment très graphique et visuel.

En terme de performance, globalement et dans la mesure ou les opérations se déroulent directement sur les bases, c'est la puissance de ces dernières qui limitera les perfs.

Pour finir, nous avons monté un DataWare avec Sunopsis. Sunopsis crée automaiquement les DBlink vers les bases accedées, charge par annule et remplace ces tables dans un ODS et effectue les transformations vers le DataWare House et détruit tous les objets crées pendant les phase de chargement.

N'hésite pas si tu souhaite plus d'informations.
Philippe.

Merci pour ta réponse,

cela fait longtemps que je cherche de l'information sur cet outil. Tout ce que je trouve c'est de la publicité et des articles pour vanter l'architecture ELT. J'ai essayé d'avoir une version d'évaluation, ils m'ont jamais répondu...

Merci d'avoir partagé ton expertise
www.systemeetl.com

[clairette]

bonjour,
J'ai lu votre discussion et je souhaiterais juste savoir si un ETL générateur de code est la meme chose qu'un logiciel open source
Merci d'avance

[abdelelomari]

Envoyé par clairette

bonjour,
J'ai lu votre discussion et je souhaiterais juste savoir si un ETL générateur de code est la meme chose qu'un logiciel open source
Merci d'avance

Lorsqu'on parle d'ETL générateur de code, on insinue une catégorie, actuellement il existe trois catégories d’outils ETL :

• Engine-based : les transformations sont exécutées sur un serveur ETL, disposant en général d’un référentiel. Ce genre de d’outil dispose d’un moteur de transformation ;
• Database-embedded : les transformations sont intégrées dans la BD ;
• Code-generators : les transformations sont conçues et un code est généré. Ce code est déployabe indépendamment de la base de données.

Il n'ya pas vraiment de comparaison entre ETL générateur de code et l'open source. Il existe des ETL Open source, mais ils ne sont pas tous des ETL générateurs de code.

AbdelElomari
www.systemeetl.com

[Nemerle]

Envoyé par Kikoune

En terme de performance, globalement et dans la mesure ou les opérations se déroulent directement sur les bases, c'est la puissance de ces dernières qui limitera les perfs.

on a une appli d'une filiale accolée à Sunopsis qui recoit des données via WebServices d'une autre appli. Les temps d'acquittement sont TROP longs: MAJ d'un objet (de taille moyenne) prend 0.5 s. La même MAJ entre 2 autres applis, "pures" .net/SQL, ne prend que 0.02 s......