IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Microsoft BI Discussion :

Mise à jour en temps des réel des données du Data Warehouse


Sujet :

Microsoft BI

  1. #1
    Membre éclairé
    Avatar de Reskibil
    Profil pro
    Inscrit en
    Mai 2007
    Messages
    561
    Détails du profil
    Informations personnelles :
    Âge : 42
    Localisation : France, Paris (Île de France)

    Informations forums :
    Inscription : Mai 2007
    Messages : 561
    Points : 815
    Points
    815
    Par défaut Mise à jour en temps des réel des données du Data Warehouse
    Bonjour,

    Voila la situation. Nous avons des bases de production qui sont sur DB2 sur AS400 et à côté, nous avons SQL Server 2005 Enterprise pour le reporting.
    La problématique sur laquelle je dois me pencher serait un reporting en temps réel dans SQL Server en se basant sur les données entrées dans les bases DB2. Pour autant que je sache, ca risque d'être compliqué voire impossible mais je demande à tout hasard. A noter que le but serait d'avoir des cubes accessibles depuis Excel avec les données à jour en temps réel pour un volume de données relativement conséquent. A l'heure actuelle, on fait une mise à jour complète par mois qui prend environ 3h pour tout faire (ETL + cube).
    Je suis pour l'instant qu'en phase d'étude donc tout avis est bon à prendre.

    Merci d'avance.

    PS : Pour taper dans les bases DB2, on doit passer par des liens ODBC qui se sont montrés pas très rapides mais le OLE DB est bien pire.

  2. #2
    Membre expérimenté

    Profil pro
    Développeur informatique
    Inscrit en
    Juillet 2007
    Messages
    690
    Détails du profil
    Informations personnelles :
    Âge : 40
    Localisation : Canada

    Informations professionnelles :
    Activité : Développeur informatique

    Informations forums :
    Inscription : Juillet 2007
    Messages : 690
    Points : 1 478
    Points
    1 478
    Par défaut
    Sallut,
    D'après mes connaissance Sql Server 2005, il est possible de faire de la mise à jour en temps réél avec Analysis Services, mais Analysis Services doit se nourrir de quelque chose, et c'est ta base de données SQL Server dans ce cas la...
    Les solutions que je connais sont lourdes (triggers, réplication), surtout pour des bases de production. Sinon, tu peux créer directement des cubes à partir de tes sources de données (CE QUI N'EST PAS BON DU TOUT) avec SSAS, tu bénéficira ainsi d'une mise à jour en temps réél, mais à quel prix ...

  3. #3
    Membre éclairé
    Avatar de Reskibil
    Profil pro
    Inscrit en
    Mai 2007
    Messages
    561
    Détails du profil
    Informations personnelles :
    Âge : 42
    Localisation : France, Paris (Île de France)

    Informations forums :
    Inscription : Mai 2007
    Messages : 561
    Points : 815
    Points
    815
    Par défaut
    Merci de la réponse.

    C'était effectivement une des choses à laquelle j'ai pensé sauf que faire un cube qui tape dans une base DB2 en ODBC, ca marche pas ou mal.

    Un autre point qui me turlupine également c'est comment mettre à jour le cube. Si on le process 15 fois par jour, ca va le rentre inaccessible pendant le process et ca va faire exploser le disque. Meme avec des partitions, ca risque de poser probleme (la cible étant la finance, les volumes de données sont assez importants).

  4. #4
    Membre expérimenté

    Profil pro
    Développeur informatique
    Inscrit en
    Juillet 2007
    Messages
    690
    Détails du profil
    Informations personnelles :
    Âge : 40
    Localisation : Canada

    Informations professionnelles :
    Activité : Développeur informatique

    Informations forums :
    Inscription : Juillet 2007
    Messages : 690
    Points : 1 478
    Points
    1 478
    Par défaut
    Voila pour toi,
    http://www.microsoft.com/emea/spotli...0116974C349372

    Je ne l"ai pas encore vu, on en parlera plus tard

  5. #5
    Membre expérimenté

    Profil pro
    Développeur informatique
    Inscrit en
    Juillet 2007
    Messages
    690
    Détails du profil
    Informations personnelles :
    Âge : 40
    Localisation : Canada

    Informations professionnelles :
    Activité : Développeur informatique

    Informations forums :
    Inscription : Juillet 2007
    Messages : 690
    Points : 1 478
    Points
    1 478
    Par défaut
    Merci pour ta question, ça m'a permis d'en apprendre sur le real time olap avec SSAS. Prudence parcontre avec l'utilisation de cette fonctionnalité, sa ne m'étonnerais pas que les performances ne soient pas au rendez vous avec les gros volumes de données

  6. #6
    Membre éclairé
    Avatar de Reskibil
    Profil pro
    Inscrit en
    Mai 2007
    Messages
    561
    Détails du profil
    Informations personnelles :
    Âge : 42
    Localisation : France, Paris (Île de France)

    Informations forums :
    Inscription : Mai 2007
    Messages : 561
    Points : 815
    Points
    815
    Par défaut
    Merci pour le lien mais ca ne marche pas sur mon ordi. Je regarderais à partir d'un autre ordi.

    Pour ce qui est des ressources, c'était clair sans meme commencer à s'interroger sur quoi que ce soit que ca allait etre un des points clé.

  7. #7
    Futur Membre du Club
    Inscrit en
    Février 2008
    Messages
    7
    Détails du profil
    Informations forums :
    Inscription : Février 2008
    Messages : 7
    Points : 7
    Points
    7
    Par défaut
    Bonjour,

    Pourquoi tu te contentes pas d'une importation quotidienne, toute les nuits, a la place de la mensuelle, car aller vers du lien direct ca risque d'étre très lourd a gérer.

    Personnellement, ca fait 4 ans que je suis sous 2k0 et je passe actuellement sous 2k5... Sous 2k0 j'avais 7 heures de traitenement (Importation de 10go d'un AS400 + reconstruction des cubes ) et ca a toujours très bien marché. A noté que sous 2k5 les temps de traitement sout divisés par 2.

  8. #8
    Membre éclairé
    Avatar de Reskibil
    Profil pro
    Inscrit en
    Mai 2007
    Messages
    561
    Détails du profil
    Informations personnelles :
    Âge : 42
    Localisation : France, Paris (Île de France)

    Informations forums :
    Inscription : Mai 2007
    Messages : 561
    Points : 815
    Points
    815
    Par défaut
    Bonjour,

    En fait, à l'heure actuelle, on fournit des rapports de facon mensuelle pour une utilisation plusieurs manageriale. De toute facon, ces refresh mensuels ne changeraient pas.

    Pour le temps réel, la cible est autre, plus opérationnelle et lors des clotures comptables, il y a un besoin de données en temps réel pour la consolidation etc...

    Comme je le disais, ce n'est qu'une étude de faisabilité mais ce projet basé sur SQL Server est récent et on est en train de le développer pour plusieurs services.

    Par contre, tu devais avoir pas mal de cubes parce que on récupère 40 Go de données dans nos bases avec 1 cube et ca nous prend pas plus de 3h.

  9. #9
    Futur Membre du Club
    Inscrit en
    Février 2008
    Messages
    7
    Détails du profil
    Informations forums :
    Inscription : Février 2008
    Messages : 7
    Points : 7
    Points
    7
    Par défaut
    j'ai fais 1 cube par grand thème, j'ai environ 15 cubes, mais le traitement de chacun va de 5 minutes a 1h30 maxi.

Discussions similaires

  1. Réponses: 0
    Dernier message: 27/09/2014, 11h11
  2. Réponses: 2
    Dernier message: 30/03/2012, 23h28
  3. Ensemble des réels, des complexes, des entiers naturels
    Par ANOVA dans le forum Mathématiques - Sciences
    Réponses: 5
    Dernier message: 08/10/2009, 12h58
  4. Réponses: 2
    Dernier message: 05/02/2007, 10h19
  5. Mise à jour en temps réel de la base de données
    Par Clotilde dans le forum Bases de données
    Réponses: 2
    Dernier message: 11/06/2004, 22h09

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo