Discussion :

[andru2010]

Présentation :
Les Outils ETL prennent en charge l’une des fonctions les plus essentielle du système globale décisionnelle .il s’agit en effet de géré toutes les étapes préalables au chargement effectifs des données dans un seul base des données extrême accès du à la majorité des systèmes de stockage de données(SGBD , ERP , Fichiers à plats …)et récupérer les données identifiées .
Transformer :
transformer et nettoyer les données afin d’élimines les les valeur non conforme au modelé de destination et d’éviter les double et autres incohérences.
Charger :
Insère les données dans une base des données globale à elle sont mise à dis disposition a des outils des analyse foule de données. L’analyse multidimensionnelle OLAP il est indispensable de traiter les processus ETL Come projet à part entière.
Il doit donc être réalise en se basent sur une méthodologie de développement bien définie le plus part logiciel ETL utilisant le parallélisme cependant le chargement d’ici .

L'objectif de ce travail est de développer un outil ETL (Extraction Transformation
Load) ou la réalisation d’un outil d’extraction de données.
Environnement : SQL Server 2008/Oracle, SSIS, OLAP, C#, .Net, scripts
Donc ,
Comment développer un outil ETL (Extraction Transformation
Load) ?
Comment choisir l'environnement (Languages des programations et L'interface utilisateur ...)?
est les étapes nécessaires pour la construction ETL ?
merci;

[tetsu no tama]

Bonjour,

J'ai une question qui me taraude depuis que j'ai lu ton post. Tu écris "Environnement : SQL Server 2008/Oracle, SSIS, OLAP, C#, .Net, scripts". En l'occurence, SSIS est déjà un ETL.

Quoi qu'il en soit :

Comment développer un outil ETL (Extraction transformation Load) ?
Ca, c'est de la gestion de projet. Commence par définir ton besoin. est-ce un outil que tu comptes commercialiser ? A quelle bases de données ton outil devra t'il être capable de s'adapter ? Est-ce que ce sera un client lourd ou une interface légère ? etc.

Une fois que tu auras les réponses à toutes ces questions, alors, tu te penchera sur la conception et sur les outils les plus appropriés.

Comment choisir l'environnement (Languages des programations et L'interface utilisateur ...)?
Ca dépend de tes besoins, de l'utilisation que tu comptes en faire (commerciale ou non), des compétences que tu as à ta dispositions, des contraintes techniques, etc.

est les étapes nécessaires pour la construction ETL ?
La encore, c'est de la gestion de projet. Ca dépend de combien de développeurs tu disposes, de l'éternel tryptique temps/coût/qualité, de tes diverses contraintes.

[Benoit_Durand]

Bonjour,

J'ai une question qui me taraude depuis que j'ai lu ton post. Tu écris "Environnement : SQL Server 2008/Oracle, SSIS, OLAP, C#, .Net, scripts". En l'occurence, SSIS est déjà un ETL.

Oui en effet, peut-être qu'un panel de jobs génériques SSIS suffiraient, appelés et configurés par une interface .Net ? Je ne sais pas si c'est possible

J'ai une autre question qui me taraude : Tu fais quoi comme études ? (Doctorat en BI ?)

Car avec l'offre ETL présente sur le marché il n'y a qu'à se servir.
Je ne vois pas l'intérêt d'en développer un surtout avec un Talend qui propose de faire ses propres composants.

[andru2010]

Merci A tous (amis) pour la réponse,
D'abord,
Mon Besions :
développement un outil ETL ?
est-ce un outil que tu comptes commercialiser ?
oui, Comme SSIS,Oracle WareHouse Builder .
A quelle bases de données ton outil devra t'il être capable de s'adapter ?
SQL SERVER ou ORACLE.
Est-ce que ce sera un client lourd ou une interface légère ?
une interface légère développer avec Visual Studio 2008 .NET(Interface Utilisateur/Machine WPF C#).

La conception et sur les outils les plus appropriés :

Interface Utilisateur Machine en WPF (Extraction de données (plusieurs Sources De données SGBD,ERP,XML,...) >> Interface Utilisateur Machine en WPF ( ETL ) >> Interface Utilisateur Machine en WPF Data WareHouse.

Autrement, Comment Développer et Coder en Visual Studio 2008 (C#,WPF,WCF,...) une prototype ETL (Advanced ETL).

Dans l'attente vouz réponsez à toutes ces questions.
+++@
Merci
Bonne journée

[doc malkovich]

est-ce un outil que tu comptes commercialiser ?
oui, Comme SSIS,Oracle WareHouse Builder .

Hum, tu as fait une étude de marché ?
Comme le dit Hebus_beer, il y a une pléthore d'ETL sur le marché, et en gratuit tu as Talend ...

[Benoit_Durand]

OK en fait votre ETL serait un client "riche" ? En gros le développeur pourrait faire ses alims via son browser et tout le travail (génération de code, exécution ...) se passerait sur le serveur ?
Je n'en ai jamais vu pour l'instant donc pourquoi pas.

Après je fais du dev ETL donc je ne connais que le SQL et juste de quoi faire des conditions en java (talend powa). Donc je ne vais pas vous conseiller sur le C# je n'en ai jamais fait et WPF, WCF c'est du chinois !
Je connais un poil de PHP aussi

Bon courage.