Discussion :

[nabilmaktouf]

bonjour

Je suis devant un choix majeur qui quel SGBD choisir(open source ) pour centralisé des données client (csv ,txt,xml, log ....).

Environnement : Debian

a noter :

que ces donnée sont récolter et écrit écrit par Talend pour être par la suite traité en Datawarehouse .
La volumétrie des bases est grandes .
nombre accès concurrent >100

infobright , infinidb ,postgree ..


merci de votre aide

[SQLpro]

Aucun de ces serveurs open source (PostGreSQL, MySQL...) ne propose de base purement décisionnelles. Ce sont tous des SGBDR relationnels.

De plus si vous avez une forte volumétrie il vous faudra la version "Enterprise" de Talend, car la version free est techniquement bridée (en particulier pas de parallélisme).
Entre nous c'est un piège à cons dans lequel tombe de nombreux clients et cela finit par couter notablement plus cher que d'utiliser de vrais bases décisionnelles avec les bons ETL comme ce que propose Oracle, Terradata ou MS SQL Sever !

Voir le positionnement des outils de BI dans le "magic quadrant" du Gartner Grup qui évalue tous les ans ces outils :
http://img.deusm.com/informationweek...drant-2015.jpg

Vous n'y trouverez aucun outil "libre" !

A +

[nabilmaktouf]

merci avant tout pour ta réponse .

peut étre que je me suis mal exprimé , mon besoin est de créer une BDD relationnel centralisé alimenté par Talend depuis les serveurs clients a travers différent connecteur (cvs ,XLM ,ERP...) (1)
Talend recuprére les données depuis BDD centralisé pour créer son DWH (2)

sinon aviez vous des suggestion des BDD

A+

[punkoff]

Aucun de ces serveurs open source (PostGreSQL, MySQL...) ne propose de base purement décisionnelles. Ce sont tous des SGBDR relationnels.

De plus si vous avez une forte volumétrie il vous faudra la version "Enterprise" de Talend, car la version free est techniquement bridée (en particulier pas de parallélisme).
Entre nous c'est un piège à cons dans lequel tombe de nombreux clients et cela finit par couter notablement plus cher que d'utiliser de vrais bases décisionnelles avec les bons ETL comme ce que propose Oracle, Terradata ou MS SQL Sever !

Voir le positionnement des outils de BI dans le "magic quadrant" du Gartner Grup qui évalue tous les ans ces outils :
http://img.deusm.com/informationweek...drant-2015.jpg

Vous n'y trouverez aucun outil "libre" !

A +

Bonjour,

Talend se trouve dans le quadrant data integration, vu que c'est ce qu'il fait.

[nabilmaktouf]

bonjour

Est e que il y a des bon SGBD en open source a part Mysql et postgree qui gèrent bien les grandes volumétrie .

Merci

[al1_24]

La réponse rapide est : Non.
Mais le terme "grande volumétrie" pour un entrepot de données n'est pas le même pour tout le monde.
Qu'est-ce que ça signifie pour ton projet ?
En données utilisées (hors tables de staging, index, réplication et blobs) : Des dizaines de gigaoctets ? des téraoctets ? des pétaoctets ?
Et en chargement quotidien ?

[nabilmaktouf]

grande volumétrie : des téraoctets
chargement : chaque heure

Merci

[SQLpro]

Bonjour,

Talend se trouve dans le quadrant data integration, vu que c'est ce qu'il fait.

Talend n'est pas un SGBD ! C'est un ETL...

A +

[SQLpro]

Ce que vous voulez c'est donc juste la partie DataWareHouse... Et pas la partie analyse de données...

OK, donc SGBDR va bien...

bonjour

Est e que il y a des bon SGBD en open source a part Mysql et postgree qui gèrent bien les grandes volumétrie .

Merci

Si pour vous grande volumétrie = plusieurs To alors non !

Aucun des SGBDR "Free" ne savent gérer correctement le partitionnement, les opérations "ONLINE", la haute dispo ou n'intègrent un CDC...

Vous pouvez envisager de faire tout cela à la main, avec quelques années de travail et une bonne équipe ce qui présentera un double avantage :
1) résorber une partie du chômage local (à condition de trouver des informaticiens chevronnés)
2) prendre du temps, donc du recul pour que la solution soit au final impeccable dans quelques années !

A +

[ddoumeche]

On peut très bien gérer des volumes d'ordre du pentaoctet avec des bases de données même primitives a condition d'opter pour un partitionnement efficace, ou du sharding.

Cela dépend de la fréquence d'actualisation des données

[SQLpro]

On peut très bien gérer des volumes d'ordre du pentaoctet avec des bases de données même primitives a condition d'opter pour un partitionnement efficace, ou du sharding.

Cela dépend de la fréquence d'actualisation des données

Ce qui m'amuse c'est justement le point que vous citez... Aucun des 2 SGBDR que ce soit PostGreSQL ou MySQL ne dispose d'un partitionnement réellement efficace !
Pour PG la mise en œuvre est aberrante.. Pour MySQL il est tout à fait inefficace en requête dans la plupart des cas.
Enfin ces deux SGBDR ne sachant pas faire du parallélisme de requête ils sont inefficace si des requêtes doivent aller lire toutes les partitions !

A +

[rudib]

Bonjour,

Considérez la possibilité d'un moteur NoSQL distribué. Cassandra est un bon produit qui est libre, très performant, qui monte en charge à l'infini et qui a un feeling proche d'un SGBDR : langage CQL proche du SQL, modélisation en tables. Il manque juste la relation, donc faites attention si vous voulez modéliser des relations entre vos tables, mais ce n'est peut être pas le cas ici si vous importez des logs.
Exemple de modélisation en Cassandra dans cet article : http://ippon.developpez.com/tutoriel...ion-cassandra/