Discussion :

[opopl]

Bonjour tout le monde,

Je travail en poste de Développeur .NET et mon patron veut créer une application web ASP/MVC4 qui va mimer le processus ETL pour avoir comme résultat un Datawarehouse, c'est à dire il veut avoir son propre solution de création de Datawarehouse pour le vendre après.

Je vous demande si c'est une bonne idée (existance des soft OpenSource)? faisable ou non ? si Oui quelqu'un à une idée comment je peux commencer exemple, tuto,...

Merci d'avance pour tout essaie d'aide

[XxArchangexX]

Bonjour,

Il y a un marché, le BI est en croissance et cherche à atteindre les PME, mais un outil à vendre nécessite un standard qu'un ETL ne peut être. Un ETL gère des sources de données très différentes (Excel, Base de données, XML, texte, csv ...), il faut donc normaliser toutes les sources, gérer les différents dessin d'enregistrement et les incohérences potentielles.

Une fois dans le traitement, un ETL dépend du métier de l'entreprise, format des monnaies, format des dates, format des adresses, les règles de gestion pour chaque donnée qui peuvent être infinies avec de l'imagination, ajouter à cela le fait que la déduplication des données est un domaine très complexe et dépend de la situation de l'entreprise, utile ou non.

Informatica est connu comme logiciel ETL mais le prix est aussi connu pour être exorbitant, c'est pour cela que les solutions open source se développent, Talend car c'est celui que j'utilise , n'est pas un ETL, mais permet de mettre en place un ETL 'simplement' et puissant. Il est ergonomique et de mon opinion, c'est sur ça qu'il faut jouer de nos jours. Aller vers la 4ème génération de logiciel, faire abstraction du langage. Faire en sorte qu'un non développeur de langage puisse faire du BI, Talend a beau dire il n'y a pas besoin de connaitre le java, quand il y a un "null pointer exception", ou "can't convert String to Integer", c'est bien pratique de connaitre ce langage .

Parenthèse : je trouve cela dangereux, mais quand tu vois les nouveaux logiciels de tous les domaines, on va vers cela.

Je vous demande si c'est une bonne idée (existence des soft OpenSource)? faisable ou non ?

Une bonne idée oui, faisable oui mais il faut s'accrocher et bien penser le truc (ergonomique et adaptable facilement à un métier en particulier) sinon ça va être un logiciel qui va générer de la mauvaise qualité de données, ( d'un autre côté qui se soucie de la qualité des données de nos jours, c'est une perte de temps et d'argent, je suis peut être hors sujet mais c'est un débat qui me révolte souvent ^_^°) .

[opopl]

Bonjour XxArchangexX,

Tout d'abord merci pour votre réponse détaillé, en fait mon patron veut avoir son propre logiciel BI dès ETL (pour générer DW),OLAP jusqu'à DataMining.
le problème que je rencontre maintenant c'est pour la partie transformation de processus ETL, :

• c'est quoi les transformations possible des tables, des données...
• Est-ce qu'on peux appliquer des agrégation au moment de génération de DW ou il faut que les données soit détaillé
• Aussi pour le chargement des données, est-ce qu'on doit mettre les données ex-tracté de source dans une place de stockage temporaire ou on doit le traiter directement
• Aussi comment détecter les changement au niveau des données sources?

[XxArchangexX]

Tu peux regarder les cours de développez qui sont bien : developpez-cours/

c'est quoi les transformations possible des tables, des données...

Comme j'ai dit, elles dépendent des données et elles sont pratiquement infinies

Est-ce qu'on peux appliquer des agrégation au moment de génération de DW ou il faut que les données soit détaillé

Il est possible de faire de l'agrégation mais c'est un traitement un peu lourd, il ne faut pas s'amuser à tout agréger. Tout dépend du métier de l'entreprise.

Aussi pour le chargement des données, est-ce qu'on doit mettre les données ex-tracté de source dans une place de stockage temporaire ou on doit le traiter directement

Cela s'appelle une "stagging area", c'est une option facultative, pour ma part je trouve qu'elle est utile.

Aussi comment détecter les changement au niveau des données sources?

Avec la déduplication, c'est l'un des traitements les plus complexes, mais il parait logique qu'il faut descendre la base et comparer pour enrichir ou modifier par rapport aux sources. Ce sont les règles qui déterminent s'il faut dire on change ou pas qui est délicat.

[opopl]

je vous remercie XxArchangexX pour votre réponse rapide et claire.

[Benoit_Durand]

Talend est disponible dans une version gratuite. En l'essayant (installer le soft et suivre les tutos en lignes) vous verrez facilement ce que proposent les ETL gratuits.
Talend n'est pas le seul disponible mais c'est celui que je connais le mieux. Jaspersoft ....

Est-ce que c'est une bonne idée ? pourquoi pas mais il faudrait viser un marché de niche pour développer des connecteurs que les autres etls ne gèrent pas.
Les suites BI gratuites commencent à être assez abouties.