Discussion :

[Ecosmose]

Bonjour,

Je poste un doublon ici car j'ai une problématique de choix qui est aussi lié à l'architecture même si je pense qu'une solution Business Intelligence pourrait être le + pertinent.

http://www.developpez.net/forums/d10...e/#post6011817

Avant de me lancer dans ma 2ème base OLAP (ma 1ère en conception et déploiement, ma 2ème mais uniquement en développement), je souhaitais vous consulter pour profiter des expériences de chacunsur la pratqiue de la théorie de l'informatique décisionnelle et de ses solutions OLAP.
Je me permet donc de vous présenter mon projet OLAP pour que vous puissiez m'orienter vers une bonne résolution de mes besoins. J'espère que vous aurez des pistes ou des commentaires à m'exposer. Peut être que le domaine fonctionnelle suscitera votre curiosité ou votre interêt : c'est celui des énergies renouvelables.

Je vais (re)créer un système de pilotage et d'analyse de l'exploitation de nos parcs éoliens et solaire 'from scratch' (je travaille pour un concepteur, constructeur, exploitant et producteur). C'est à dire que je casse tout le boulot que a été fait avant 'en mode labyrinthe excel' et que je fais à ma sauce.
Le but est de construire un système capable d'agréger des données de production et d'exploitation qui formeront la population de la BD (ces données varient dans donc le temps ce qui engendre des statistiques différentes). ces données sont issus des journaux de pannes, des données comptage, des mains courantes, etc... donc de plusieurs sources de données hétérogènes et de plusieurs centrales. L'objectif est de fusionner et de présenter ces informations selon différentes dimensions et de proposer aux responsables des centrales des rapports analytiques pour optimiser leur pilotage (selon zone géo, type d'éolienne ou d'onduleur, vue temporelle, cumulée, énergétique etc...). En extrapolant, l'idéal serait un outil qui leur permette de générer leurs propres modèles de rapports (dynamiques) qu'ils pourraient décliner à volonté sur des dimensions choisies (temps, climat, zone, lieu, type de modèle de matériel, etc...). OLAP est bien taillé pour cela, n'est ce pas ?

Je pense utiliser SQL Server 2005 ou 2008 vu le peu d'utilisateurs concurrents, une volumétrie des données assez grosses (la durée de vie de nos centrales est d'au moins 20 ans, la période d'acquisition est 10min !). Le cout est aussi un facteur déterminant. MySQL ne garantie pas l'intégrité de la base (les structures de mes données d'entrées peuvent varier, par exemple un changement de Firmware des SCADA ou des datalogger)

Je suis tout seul à concevoir, développer et tester le projet. J'essaye donc de verrouiller une solution en déterminant un système et un EDI efficace, robuste et éprouvé pour ne pas dériver sur mon planning. L'utilisation d'"Integration Services" (MS SQL Server 2005 & 2008) parait tout indiquer pour l'import / export de sources de données externes (nous travaillons avec des csv, OPC server, fichier 'propriétaire' ). Cela me facilitera et accélèrera grandement cette tâche.

Des idées ? des exemples ?

[Ecosmose]

Je peine à choisir les Framework qui me feraient gagner du temps concernant les solutions Clients/Serveur. Plusieurs solution Business Intelligence offre une gestion des états / reports + ou - étoffée . La cible est une application client lourde puis par la suite, un greffon client léger pour nos collègues des DOM-TOM via le net. Pour ces derniers, un serveur Web rassemblera les données statistiques calculées tous les mois pour les représenter sous des tableaux de bord et graphiques multi-dimension (JFreeChart parait très adapté pour une solution lourde et légère). L'appli lourde quant à elle pourra générer dynamiquement ces rapports, toutes périodes confondues (et donc gros calculs en perspective ). En fonction des performances, nous verrons ce que nous pourrons proposer de + pour le client léger.

En ce moment, je recueille et rédige les besoins globaux, j'ai presque fini. En // je tache de choisir mon urbanisme logiciel (briques applicatives, services et frameworks) puisque mon architecture technique est quasi déterminée (un serveur BD, un ou des serveurs applicatifs, 2 types d'appli cliente dont un peu de SGI google map).

Je suis un habitué des méthodes agile, avec des cycle spiral (méthode MACAO de mon directeur de recherches, Mr Crampes ex-doyen de l'université de Toulouse que je remercie au passage). Un des buts est de jalonner au plus fin mon travail pour que les utilisateurs bénéficie au mieux des foinctionnalités pour affiner de + en + leurs besoins (un jalon pour le cycle specs/conception/dev./test/validation qui se résumera certainement à une fonctionnalité à la fois). Une mutualisation du travail du client lourd sur le client léger serait aussi idéal pour ne pas refaire sur l'un ce qui a déjà été fait sur l'autre (je pense aux générations d'état et des graphiques associés)

Je m'oriente petit à petit vers une appli lourde Java exploitant des services JasperReport pour la présentation des rapports.

Voila, pour mon projet. Si vous avez des pistes de solution...

En espérant vous faire partager le fruit de mes recherches et de mon travail par la suite (je suis très orienté open source où je participe à quelques projets). Et pourquoi pas un travail collaboratif pour les + intéressés ?

Merci pour vos présentations et vos futures réponses.

[nah666]

Salut,

C'est dommage je vois que tu n'as aucune réponse

En tout cas il semble que c'est un beau projet que tu as la, avec un périmètre conséquent et une liberté d'action qui semble importante.

Je suis assez intéressé par les choix que tu fera, par curiosité technique, aussi si tu hésite entre plusieurs outils/solutions je veux bien te donner un regard dessus.

Aussi, par rapport à ta demande, je m'excuse mais n'ai pas forcément noté de question précise, tu me semble avoir fait tes choix assez précisément, j'ai du mal à cerner ta demande.

[Ecosmose]

Yes Nah, je vous tiendrais au courant...je risque en effet d'être assez actif par ici avec ce nouveau projet.

Alors pour les décisions d'architecture, les choix sont faits et pas faits

le SGBD , le choix n'est pas vaste et chacun se place + ou - dans une part de marché. SQL Server 2008 est robuste, performant et garanti une intégrité qui va m'aider à clarifier les sources de données hétérogènes. La création des cubes est aussi appréciable par les designer et manager de la suite SQL Server. J'ai reçu un devis pour la licence Server , les briques applicatives (Services), et 5 CAL (5 accès clients concurrents) , le prix est de 1700€ HT ce qui me parait acceptable pour le projet (pour la même chose chez Oracle, je ne sais pas à combien cela s'élèverait). J'ai des doutes sur les performances des rendus (batchs) statistiques et croisés sur les base MySQL ou FIreBird et autres. Il faut du haut niveau logique (relationnel pour la conception métier) et des performances acceptables.

Partant de cette plate-forme SQL Server, Micro$oft inclut des briques applicatives dont Reporting, Analysis et Integration Services qui aideront certainement mon projet. Ne sachant pas pour l'instant ce que Reporting et Analysis apporteront , je fais des tests d'architecture et j'ai néanmoins observer que des applis .NET (que je connais) se greffent très bien en tant que client. Cependant , par conviction je préfèrerais du JAVA et un BI open source pour faire avancer la 'cause'.

Cela va en faire bondir + d'un , je pense, mais je préfèrerais supporter ces solutions créées de manière collaborative en participant au projet de dev. ou de test lorsque mes compétences auront grandies. Je sais que le décisionnel sur le choix d'une solution BI ne devrait pas être motivé que par mes 'convictions' (ne vous inquiétez pas) mais je vois que les fonctionnalités, le support (grosse communauté BIRT et Jasper), les performances open source et la cosmétique(rendu et interaction graphique) n'ont rien à envier aux solutions propriétaires.

De +, je travaille au sein d'une PME qu'il sera difficile de convaincre pour payer un consultant ou expert BI en cas de pépin ou d'audit. Je ne parles pas des supports payants (même si ils sont utiles) mais un des avantages d'une solution open source, c'est que la science et les compétences sont aussi partagées (pas seulement le code source) pour le bien des évolutions et des améliorations des outils mais aussi pour éviter que le savoir-faire soient gardés et payer des 'experts' ou indépendants très cher juste parce qu'ils ont eu la chance un jour, d'avoir les moyens de monter en compétence (grosse structure, gros projet, etc...). Nous avons déployer 2 briques COGNOS pour notre système de paye et de compta, et comme son nom l'indique, ça cogne.

Notre secteur a été en bonne croissance avec les aides de l'état... jusqu'au mois de Novembre 2010 (après moratoire). Maintenant c'est tout l'inverse. Plus aucuns gros projets se développent en solaire, les budgets internes s'amenuisent et les licenciements sont en cours. Les investisseurs financiers ont trop tiré sur la poule aux oeufs d'or.. moi qui voulait me barrer des systèmes capitalistes et ambitieux des SSII avec leur volonté de croissance à 2 chiffres à tout prix... M'enfin, les gens de mon entreprise ne sont pas comme ça... il faut trouver des fonds pour subventionner ces longs et couteux projets et on sait tous où se trouve l'argent -> chez ceux qui veulent toujours + d'argent ^^

Donc toujours à la recherche des tiers middleware et client ... tenté par BIRT quand même avec NetBeans pour developper l'interface cliente (je ne trouve pas de Designer de GUI assez puissant sous Eclipse)