[Aide]application J2EE et datawarehouse

[koukou0687]

salut,
j'ai un projet qui consiste à étudier et réaliser un datawarehouse, ainsi que la réalisation d'une application J2EE qui utilise ce datawarehouse mais je ne sais pas ce que va faire cette application et comment va être lier avec le datawarehouse, bref je suis un peu perdue puisque je suis débutante en BI.
je serais reconnaissante si vous m'éclaircissez un peu les idées
Merci

[nuke_y]

Pourquoi des projets aussi intéressants sont toujours donnés à des gens qui sont débutants en BI? Stagiaire?

Bref ton travail comporte 2 points principaux, sub-divisé en plusieurs sous-points :
- élaboration d'un DWH
* Définition des faits et des dimensions
* Création des tables de la BDD
* Ecriture des flux d'alimentation des tables depuis les systèmes source (peut être fait en java si pas d'ETL)
- programmation de l'application de restitution
* Définition du reporting attendu
* Programmation du portail ou intégration à un existant
* Programmation d'une éventuelle couche intermédiaire de sécurité ou d'abstraction (pour gérer les connexions ou le modèle sous-jacent)
* Programmation des reports

Mine de rien c'est un sacré boulot, mais je tuerais pour un projet comme ça...

[Prjprj]

Pour avoir bossé sur ce genre de projet, je ne suis pas du tout de l'avis de nuke, le fait de coller une appli J2EE sur un Datawarehouse apporte tout un ensembles de contraintes qui compliquent la mise en place de l'entrepôt.

Une appli Web a du mal à supporter un modèle en étoile et préfère une forme normale, donc la modélisation est impactée.
Une appli J2EE s'appuie sur les contraintes de la base de données pour créer son modèle interne d'objets alors qu'en BI, il est souvent d'usage de les supprimer pour éviter des pertes de performances.

Pour finir, un entrepôt de données, c'est sensé être l'endroit où les données ne changent pas, et où l'on suit toutes les modifications, et je ne vois pas vraiment l'intérêt d'une appli web qui ne modifie pas les données de la base sur laquelle elle pointe (les outils de restit existent, pas la peine de les refaire...).

Donc en clair pour moi, coller une appli web sur un Dataware c'est beaucoup de contraintes, une intégrité qui n'est plus garantie et un gros risque de pertes en perfs (côté Dataware comme appli web).

Mais bon, les clients demandent et les développeurs appliquent, donc mes conseils, faire le Dataware en entier avant de mettre l'appli web dessus, et faire intervenir des développeurs/modélisateurs Web expérimentés lors de la phase de modélisation.

[nuke_y]

Pourtant on est d'accord Prjprj. Dans ma définition des tâches j'ai clairement séparé la phase DWH de la phase restitution.

D'ailleurs je n'ai même pas imaginé que l'application J2EE puisse servir à SAISIR dans le DWH, pour moi elle sert juste à la restitution. Je pense par contre que certes des outils de restitution existent déjà mais que parfois il faut intégrer 1 ou 2 reports à un portail J2EE existant, et dans ce cas on monte le reporting from scratch.

L'alimentation dans le DWH doit se faire à partir de flux, via un ETL éditeur ou un ETL fait maison qui peut être en JAVA. On n'écrit JAMAIS dans un datawarehouse.

Seule petite entorse: la saisie de données de référence ou d'objectifs qui peut être effectuée via l'application J2EE.

[Prjprj]

Dans ce cas là, ce sont les clients qui ne sont pas d'accord avec toi , vu que ceux-ci ont tendance à demander des entrepôts de données dans lesquels on peut corriger les données ou autres bêtises du genre.

Pour ma part, mon avis est qu'un DWH est toujours correct (sauf bug évidement, mais c'est une autre question), ce sont les données sources qui doivent être corrigées.

Enfin bon, mes objections sont valables si l'appli doit écrire dans l'entrepôt, elles sont bien moins pertinentes dans le cas où l'appli fait de la restit' (bien que je reste sur ma position, si on veut intégrer de la restit' dans un portail J2EE, il suffit d'embarquer du BIRT ou du Jasper, le nombre de posts sur le sujet prouve que c'est faisable et que pas mal de monde se pose la question), quoique les perfs d'un rapport from scratch peuvent poser problème...

[nuke_y]

Envoyé par Prjprj

Dans ce cas là, ce sont les clients qui ne sont pas d'accord avec toi , vu que ceux-ci ont tendance à demander des entrepôts de données dans lesquels on peut corriger les données ou autres bêtises du genre.

Oui mais ça on est d'accord, c'est MAL

Envoyé par Prjprj

elles sont bien moins pertinentes dans le cas où l'appli fait de la restit' (bien que je reste sur ma position, si on veut intégrer de la restit' dans un portail J2EE, il suffit d'embarquer du BIRT ou du Jasper, le nombre de posts sur le sujet prouve que c'est faisable et que pas mal de monde se pose la question)

D'accord aussi, mais j'imagine que dans le cas de koukou il y a une bonne raison pour faire ça, enfin j'espère

[doc malkovich]

Jolie conversation les gars

Envoyé par koukou0687

je ne sais pas ce que va faire cette application

Pas gagné

Il faudrait en effet d'abord définir ce que va faire l'appli, peut-être qu'il n'y a juste qu'un besoin de restit ...

[koukou0687]

Envoyé par nuke_y

Pourquoi des projets aussi intéressants sont toujours donnés à des gens qui sont débutants en BI? Stagiaire?

Bref ton travail comporte 2 points principaux, sub-divisé en plusieurs sous-points :
- élaboration d'un DWH
* Définition des faits et des dimensions
* Création des tables de la BDD
* Ecriture des flux d'alimentation des tables depuis les systèmes source (peut être fait en java si pas d'ETL)
- programmation de l'application de restitution
* Définition du reporting attendu
* Programmation du portail ou intégration à un existant
* Programmation d'une éventuelle couche intermédiaire de sécurité ou d'abstraction (pour gérer les connexions ou le modèle sous-jacent)
* Programmation des reports

merci infiniment nuke pour les etape que vous venez de decrire

Envoyé par nuke_y

Mine de rien c'est un sacré boulot, mais je tuerais pour un projet comme ça...

on peut se mettre d'accord: vous vous réalisez ce projet, et moi je vais le livrer à mes supérieurs >>>> Je plaisante

[koukou0687]

Envoyé par doc malkovich

Jolie conversation les gars


Pas gagné

Il faudrait en effet d'abord définir ce que va faire l'appli, peut-être qu'il n'y a juste qu'un besoin de restit ...

en fait, l'application est un travail de plus que j'ai penser à le réaliser(à part le travail principal qui est l'étude et la réalisation d'un DW), mais je n'ai pas encore une idée sur la fonction qu'elle doit remplir vu que j'ai jamais eu l'occasion de développer une application J2EE qui est en relation avec un DW (à part la restitution)
la question que j'ai demandé avant c'est sur la faisabilité d'une telle application, mais il parait que c'est difficile (d'après la discussion de Prjprj et Nuke que je les ai remercie pour leur intervention assez enrichissante)

une autre question: quelle est le délai maximal et minimal pour réaliser un tel projet?

et merci

[nuke_y]

Bon donc l'application J2EE tu peux l'oublier, elle ne servira à rien si le coeur de la demande c'est de faire un DWH. Tu utilises Talend en ETL et BIRT ou Jasper en restitution et ça ira très bien.

Pour le délai ça dépend. Je dirais que pour un datamart simple un expert peut le faire en 2 semaines avec peu de contraintes de process. Après un vrai projet DWH costaud ça peut prendre plusieurs années.

Si tu nous donnais plus d'information sur ton sujet ?

[koukou0687]

Envoyé par nuke_y

Bon donc l'application J2EE tu peux l'oublier, elle ne servira à rien si le coeur de la demande c'est de faire un DWH. Tu utilises Talend en ETL et BIRT ou Jasper en restitution et ça ira très bien.

effectivement, c'est ce que j'ai décidé d'utiliser comme outils
et pour l'app je vais la laisser tomber