Datawarehouse et Mysql

meslaey · 09/01/2008, 12h14

Bonjour,

Je travaille sur un projet avec un datawarehouse dont le SGBD sera MYSQL,l'outil de restitution sera Cognos 8.2.

j'ai quelques craintes car je pense que MySql n'est pas tres optimale pour gerer des problematiques de datawarehouse (performence, gros volumes...)
pour ne citer qu'un exemple de mon projet, la plus grosse table de fait comportera environ 6 millions d'enregistrements

Je voudrais avoir des conseils ou des avis, sur le fait d'utiliser MySql en tant que datawarehouse.

merci

brunolf · 10/01/2008, 09h00

C'est vrai que ça me parait un peu léger pour gérer un Datawarehouse.

Ce qui me choque le plus, c'est l'écart d'investissement entre la base de donnée et les outils de restitution : Le fait que vous investissiez dans Cognos 8 me laisse à penser que vous avez un budget licences asser correct. Du coup je m'étonne que vous n'investissiez pas dans la partie base de donnée.

Est-ce un choix d'avoir toutes vos bases de données sous MySql ? Avez vous d'autres SGBDR dans l'entreprise ? Si oui lesquelles ?

Avez vous pris en compte le fait que le content store Cognos 8 peut être hébergé sur 3 types de bases de données (SQL Server, DB2 ou Oracle) Auquel cas, vous devrez utiliser le nouveau système de content store intégré dans cognos 8... mais qui est a mon avis à réserver à des plateformes de démonstration ou des installations très légères.

Cordialement

meslaey · 10/01/2008, 10h31

je suis d'accord avec toi sur le choix de la base de donnée
mais ce choix de BD n'est pas lié au budget, puisque le referentiel cognos sera heberger sur SQL Serveur 2005.
Le fait d'avoir choisi MYSQL est plutot une question de politique interne.

Cognos supporte mysql, mais la question est de savoir si sur du long terme ce choix de SGBD est tres penalisant, en terme de performence.

brunolf · 14/01/2008, 09h40

Franchement, je ne connais pas suffisament MySql pour pouvoir le juger en terme de performances.

Tout ce que je peux te dire, c'est que je n'ai jamais vu de datawarehouse sur MySQL, et que j'ai de sérieux doutes sur la montée en charge d'un datawarehouse sur ce type de base de données. Les requêtes sur un datawarehouse sont très différentes des requêtes transactionnelles, elle balayent souvent de très importantes volumétries.

Je sais que MySql s'en sort bien en mode transactionnel ... Qu'en sera-t-il avec des requêtes qui rammeneront 5 ans d'historique ?

Enfin, si le choix de MySql s'impose chez vous, c'est que vous devez avoir en interne des ressources très pointues sur ce sujet, c'est peut être vers eux qu'il faut se tourner en leur exposant la problématique datawarehouse (type de requêtes, volumétrie...)

Jester · 14/01/2008, 13h30

Reste que sans savoir, je trouve que douter que MySQL puisse tenir c'est un peu une légende urbaine.

http://conferences.oreillynet.com/pr...er_michael.pdf

Utilise mysql pour une BD de 3To. Il y a les temps des opérations.

Il y avait une autre présentation (plus récente, celle-ci est vielle) très très intéressante aussi notamment sur la gestion des performances. Je vais voir si je la retrouve, pas sur.

xave · 14/01/2008, 13h49

Ben je vais effacer tous vos doutes, pour avoir essayé, je ne te recommande pas MySQL comme datawarehouse, pour 2 millions d'enregistrements (et j'avais pas encore tout rappatrié), MySQL m'a complètement laché, temps de réponse excessivement longs, j'ai carrément mis le serveur à genoux sur un simple select...

N'ayant pas d'autre solution technique pour le moment mon datawarehouse est pour l'instant sur un AS400 ...

Jester · 14/01/2008, 16h54

Voici la conférence dont je parlais plus haut.

http://conferences.oreillynet.com/pr...calzo_bert.pdf

Paul_S · 14/01/2008, 19h02

Bonjour à tous et toutes et meilleurs voeux,

Objectivement, il est beaucoup plus rassurant de monter un DWH sur une base d'un grand éditeur qui va s'engager derrière sa marque, plutôt que sur MySQL.
Cependant, il faut tenir compte du contexte d'une part (capacités du serveur, volumétrie, qualité de modélisation et de l'optimisation de la base ...). Il y a en effet datawarehouse et datawarehouse ...

Il convient également de valider les besoins exprimés (granularité recquise, temps de réponse souhaités -immédiats, différés, attente possible -, possibilité de déporter des exécutions lourdes en nocturne, ...
Il ne faut pas hésiter à faire confirmer le besoin réel des délais d'obtention des restitutions par les utilisateurs : certaines demandes tiennent parfois du caprice.

Sous réserve de vérification des bonnes conditions énumérées ci-dessus, personnellement, je tente. Avec une série de benchs au préalable qui validerait mon choix.

yphilogene · 15/01/2008, 21h23

Citation:

Envoyé par meslaey

je suis d'accord avec toi sur le choix de la base de donnée
mais ce choix de BD n'est pas lié au budget, puisque le referentiel cognos sera heberger sur SQL Serveur 2005.
Le fait d'avoir choisi MYSQL est plutot une question de politique interne.

Cognos supporte mysql, mais la question est de savoir si sur du long terme ce choix de SGBD est tres penalisant, en terme de performence.

Cognos ne supporte pas MySQL. Il est possible d'attaquer une telle base grâce à un élément standard Cognos appelé Composite, mais tu n'obtiendras aucun support de Cognos si tu rencontres des problèmes (performances ou autre...) avec MySQL.

Paul_S · 16/01/2008, 08h56

Citation:

Envoyé par yphilogene

Cognos ne supporte pas MySQL. Il est possible d'attaquer une telle base grâce à un élément standard Cognos appelé Composite, mais tu n'obtiendras aucun support de Cognos si tu rencontres des problèmes (performances ou autre...) avec MySQL.

Peux-tu confirmer tes propos stp ? Connectivité Odbc ?
Celà me semble assez improbable que Cognos s'affranchisse volontairement du parc de bases MySQL qui commence à devenir conséquent, ne serait-ce que comme source d'appoint.

brunolf · 16/01/2008, 14h14

Voici la liste des environnements testés et supportés par cognos la liste des bases de données supportées est en bas de page :
http://support.cognos.com/en/support...ironments.html

Et la liste des sources de données ODBC non testées :

http://support.cognos.com/en/support...nectivity.html

-> donc C8 est sensé être compatible avec MySql, pour peu que l'on utilise la bonne version de driver ODBC... Mais Cognos ne se mouille pas trop dans l'affaire... ( c'est sensé marcher... mais on vous préviens qu'on ne l'a pas testé)

taoufiqENSIAS · 14/02/2008, 10h39

bonjour tout le monde
je viens de commencer non stage d'ingenieur ma mision consiste a developper un datawarhouse sous la base de donnee Mysql sous windows xp 2003 server les donnees sont dans un autres serveur IBM avec AIX .
je vais travailler avec PENTAHO 1.6
je vous demande si quelqu'un a deja fait ce genre de projet de me conseiller de la version de MYsql a utiliser hiere j ai telecharger Mysql 5.0.est ce ke ca va marcher
merci pour votre aide .

xave · 14/02/2008, 11h24

Citation:

Envoyé par taoufiqENSIAS

bonjour tout le monde
je viens de commencer non stage d'ingenieur ma mision consiste a developper un datawarhouse sous la base de donnee Mysql sous windows xp 2003 server les donnees sont dans un autres serveur IBM avec AIX .
je vais travailler avec PENTAHO 1.6
je vous demande si quelqu'un a deja fait ce genre de projet de me conseiller de la version de MYsql a utiliser hiere j ai telecharger Mysql 5.0.est ce ke ca va marcher
merci pour votre aide .

Oui ça devrait fonctioner avec MySQL 5 mais comme dit je ne le recommande pas pour un datawarehouse, par contre, ton retour d'expérience sur Pentaho m'intéresserait si tu veux bien le partager...

taoufiqENSIAS · 15/02/2008, 10h30

bien sure c un stage ingenieur et j'aimerai aussi partager avec tout le monde et j'aimerai aussi que ous m'aider
alors pour cette semaine j'ai fait une formation sur les outlis
alors j'ai opter pour
pentaho 1.6
mysql 5.0
aussi au debut de la semaine on a fait une sensibilisation de la direction generale de l'importance de la decisionnel
mnt je suis dans la phase de la collection des indicateurs et des mesures
n'hesiter pas de me guider et de me rappeler des etapes ke j'ai oubie merci

ygrim · 19/02/2008, 18h00

Salut,
Pour un projet décisionnel c'est assez facile de déterminer les étapes à suivre, les mettre en oeuvre... c'est autre chose. Voici les étapes que j'utilise :
- Analyse et collecte des données : de quoi les gens ont besoin, est ce vraiment une solution décisionnelle qui leur faut, a-t-on assez de données pour répondre à la demande, quelle technologie utiliser, pourquoi ....
- Modlélisation de l'entrepot : top-down, bottom-up, middle-out, sécurité, partitionnement, etc.
- Modélisation de l'ETL : chargement initial, chargements incrémentiels, techniques de validation des chargements, que faire lorsqu'un chargement ne réussi pas, comment faire pour avoir des données valides en tout temps, etc.. (c'est en moyenne 70% du projet).
- Solution OLAP (parceque c'est incontournable) : quelle technologie utiliser (ROLAP, MOLAP, HOLAP), comment administrer...
- Solution de Reporting : rapports a produire, sécurité, ...

09/01/2008, 12h14	#1
meslaey Invité de passage Inscription : juin 2004 Messages : 18 Détails du profil Informations forums : Inscription : juin 2004 Messages : 18 Points : 4 Points : 4	Datawarehouse et Mysql Bonjour, Je travaille sur un projet avec un datawarehouse dont le SGBD sera MYSQL,l'outil de restitution sera Cognos 8.2. j'ai quelques craintes car je pense que MySql n'est pas tres optimale pour gerer des problematiques de datawarehouse (performence, gros volumes...) pour ne citer qu'un exemple de mon projet, la plus grosse table de fait comportera environ 6 millions d'enregistrements Je voudrais avoir des conseils ou des avis, sur le fait d'utiliser MySql en tant que datawarehouse. merci
	00

14/01/2008, 13h49	#6
xave Rédactrice Inscription : mai 2002 Messages : 860 Détails du profil Informations personnelles : Âge : 34 Informations forums : Inscription : mai 2002 Messages : 860 Points : 824 Points : 824	Ben je vais effacer tous vos doutes, pour avoir essayé, je ne te recommande pas MySQL comme datawarehouse, pour 2 millions d'enregistrements (et j'avais pas encore tout rappatrié), MySQL m'a complètement laché, temps de réponse excessivement longs, j'ai carrément mis le serveur à genoux sur un simple select... N'ayant pas d'autre solution technique pour le moment mon datawarehouse est pour l'instant sur un AS400 ... __________________ Les règles du forum Cours et tutoriels php Développements web (CSS, (X)HTML,javascript, etc...) Cours et tutoriels MySQL Tutoriels Ajax Initiation à PHP-GTK1 Il n'est point de bonheur sans liberté, ni de liberté sans courage. Péricles
	00

14/02/2008, 10h39	#12
taoufiqENSIAS Membre à l'essai Inscription : février 2008 Messages : 56 Détails du profil Informations personnelles : Âge : 28 Informations forums : Inscription : février 2008 Messages : 56 Points : 22 Points : 22	datawarhouse MYSQL et PENTAHO bonjour tout le monde je viens de commencer non stage d'ingenieur ma mision consiste a developper un datawarhouse sous la base de donnee Mysql sous windows xp 2003 server les donnees sont dans un autres serveur IBM avec AIX . je vais travailler avec PENTAHO 1.6 je vous demande si quelqu'un a deja fait ce genre de projet de me conseiller de la version de MYsql a utiliser hiere j ai telecharger Mysql 5.0.est ce ke ca va marcher merci pour votre aide .
	00

15/02/2008, 10h30	#14
taoufiqENSIAS Membre à l'essai Inscription : février 2008 Messages : 56 Détails du profil Informations personnelles : Âge : 28 Informations forums : Inscription : février 2008 Messages : 56 Points : 22 Points : 22	wi bien sure c un stage ingenieur et j'aimerai aussi partager avec tout le monde et j'aimerai aussi que ous m'aider alors pour cette semaine j'ai fait une formation sur les outlis alors j'ai opter pour pentaho 1.6 mysql 5.0 aussi au debut de la semaine on a fait une sensibilisation de la direction generale de l'importance de la decisionnel mnt je suis dans la phase de la collection des indicateurs et des mesures n'hesiter pas de me guider et de me rappeler des etapes ke j'ai oubie merci
	00

19/02/2008, 18h00	#15
ygrim Membre Expert Développeur informatique Inscription : juillet 2007 Messages : 690 Détails du profil Informations personnelles : Âge : 28 Localisation : Canada Informations professionnelles : Activité : Développeur informatique Informations forums : Inscription : juillet 2007 Messages : 690 Points : 1 558 Points : 1 558	Salut, Pour un projet décisionnel c'est assez facile de déterminer les étapes à suivre, les mettre en oeuvre... c'est autre chose. Voici les étapes que j'utilise : - Analyse et collecte des données : de quoi les gens ont besoin, est ce vraiment une solution décisionnelle qui leur faut, a-t-on assez de données pour répondre à la demande, quelle technologie utiliser, pourquoi .... - Modlélisation de l'entrepot : top-down, bottom-up, middle-out, sécurité, partitionnement, etc. - Modélisation de l'ETL : chargement initial, chargements incrémentiels, techniques de validation des chargements, que faire lorsqu'un chargement ne réussi pas, comment faire pour avoir des données valides en tout temps, etc.. (c'est en moyenne 70% du projet). - Solution OLAP (parceque c'est incontournable) : quelle technologie utiliser (ROLAP, MOLAP, HOLAP), comment administrer... - Solution de Reporting : rapports a produire, sécurité, ... __________________ Business Intelligen(ce), le blog. Business Intelligen(ce), le site
	00

10/01/2008, 09h00	#2
brunolf Membre éclairé Inscription : juillet 2006 Messages : 212 Détails du profil Informations personnelles : Âge : 34 Informations forums : Inscription : juillet 2006 Messages : 212 Points : 346 Points : 346	C'est vrai que ça me parait un peu léger pour gérer un Datawarehouse. Ce qui me choque le plus, c'est l'écart d'investissement entre la base de donnée et les outils de restitution : Le fait que vous investissiez dans Cognos 8 me laisse à penser que vous avez un budget licences asser correct. Du coup je m'étonne que vous n'investissiez pas dans la partie base de donnée. Est-ce un choix d'avoir toutes vos bases de données sous MySql ? Avez vous d'autres SGBDR dans l'entreprise ? Si oui lesquelles ? Avez vous pris en compte le fait que le content store Cognos 8 peut être hébergé sur 3 types de bases de données (SQL Server, DB2 ou Oracle) Auquel cas, vous devrez utiliser le nouveau système de content store intégré dans cognos 8... mais qui est a mon avis à réserver à des plateformes de démonstration ou des installations très légères. Cordialement
	00

10/01/2008, 10h31	#3
meslaey Invité de passage Inscription : juin 2004 Messages : 18 Détails du profil Informations forums : Inscription : juin 2004 Messages : 18 Points : 4 Points : 4	je suis d'accord avec toi sur le choix de la base de donnée mais ce choix de BD n'est pas lié au budget, puisque le referentiel cognos sera heberger sur SQL Serveur 2005. Le fait d'avoir choisi MYSQL est plutot une question de politique interne. Cognos supporte mysql, mais la question est de savoir si sur du long terme ce choix de SGBD est tres penalisant, en terme de performence.
	00

14/01/2008, 09h40	#4
brunolf Membre éclairé Inscription : juillet 2006 Messages : 212 Détails du profil Informations personnelles : Âge : 34 Informations forums : Inscription : juillet 2006 Messages : 212 Points : 346 Points : 346	Franchement, je ne connais pas suffisament MySql pour pouvoir le juger en terme de performances. Tout ce que je peux te dire, c'est que je n'ai jamais vu de datawarehouse sur MySQL, et que j'ai de sérieux doutes sur la montée en charge d'un datawarehouse sur ce type de base de données. Les requêtes sur un datawarehouse sont très différentes des requêtes transactionnelles, elle balayent souvent de très importantes volumétries. Je sais que MySql s'en sort bien en mode transactionnel ... Qu'en sera-t-il avec des requêtes qui rammeneront 5 ans d'historique ? Enfin, si le choix de MySql s'impose chez vous, c'est que vous devez avoir en interne des ressources très pointues sur ce sujet, c'est peut être vers eux qu'il faut se tourner en leur exposant la problématique datawarehouse (type de requêtes, volumétrie...)
	00

14/01/2008, 13h30	#5
Jester Membre chevronné Inscription : septembre 2003 Messages : 625 Détails du profil Informations forums : Inscription : septembre 2003 Messages : 625 Points : 634 Points : 634	Reste que sans savoir, je trouve que douter que MySQL puisse tenir c'est un peu une légende urbaine. http://conferences.oreillynet.com/pr...er_michael.pdf Utilise mysql pour une BD de 3To. Il y a les temps des opérations. Il y avait une autre présentation (plus récente, celle-ci est vielle) très très intéressante aussi notamment sur la gestion des performances. Je vais voir si je la retrouve, pas sur.
	00

14/01/2008, 16h54	#7
Jester Membre chevronné Inscription : septembre 2003 Messages : 625 Détails du profil Informations forums : Inscription : septembre 2003 Messages : 625 Points : 634 Points : 634	Voici la conférence dont je parlais plus haut. http://conferences.oreillynet.com/pr...calzo_bert.pdf
	00

14/01/2008, 19h02	#8
Paul_S Membre habitué Inscription : octobre 2007 Messages : 92 Détails du profil Informations forums : Inscription : octobre 2007 Messages : 92 Points : 100 Points : 100	Bonjour à tous et toutes et meilleurs voeux, Objectivement, il est beaucoup plus rassurant de monter un DWH sur une base d'un grand éditeur qui va s'engager derrière sa marque, plutôt que sur MySQL. Cependant, il faut tenir compte du contexte d'une part (capacités du serveur, volumétrie, qualité de modélisation et de l'optimisation de la base ...). Il y a en effet datawarehouse et datawarehouse ... Il convient également de valider les besoins exprimés (granularité recquise, temps de réponse souhaités -immédiats, différés, attente possible -, possibilité de déporter des exécutions lourdes en nocturne, ... Il ne faut pas hésiter à faire confirmer le besoin réel des délais d'obtention des restitutions par les utilisateurs : certaines demandes tiennent parfois du caprice. Sous réserve de vérification des bonnes conditions énumérées ci-dessus, personnellement, je tente. Avec une série de benchs au préalable qui validerait mon choix.
	00

16/01/2008, 14h14	#11
brunolf Membre éclairé Inscription : juillet 2006 Messages : 212 Détails du profil Informations personnelles : Âge : 34 Informations forums : Inscription : juillet 2006 Messages : 212 Points : 346 Points : 346	Voici la liste des environnements testés et supportés par cognos la liste des bases de données supportées est en bas de page : http://support.cognos.com/en/support...ironments.html Et la liste des sources de données ODBC non testées : http://support.cognos.com/en/support...nectivity.html -> donc C8 est sensé être compatible avec MySql, pour peu que l'on utilise la bonne version de driver ODBC... Mais Cognos ne se mouille pas trop dans l'affaire... ( c'est sensé marcher... mais on vous préviens qu'on ne l'a pas testé)
	00

Outils de la discussion
Afficher une version imprimable Envoyer un lien vers cette page par email