Dimensionnement d'une base de données de très grande taille

[archer]

Bonjour,

Je trouve des difficulté pour monter une configuration en terme de matériel et logiciel pour une base de données dans laquelle on va stocker des fichiers à raison de 100 Go par jour sur une durée de 5 ans, ce qui fait un peu près 180 To.
A vrai dire j'ai aucune idée sur la configuration nécessaire pour Postegresql afin de stocker toute cette capacité. Donc je vous demande si vous avez une idée de la partager avec moi.
J'ai entendu dire que Wikipédia utilise aussi Postgresql, mais j'ai pas trouvé comment ils font.

Merci d'avance

[Waldar]

http://www.greenplum.com/products/greenplum-dca

En compressant vos données avec deux DCA full rack vous allez vous en sortir.

Bon, vous en aurez pour un à deux millions d'euros par contre.

[archer]

ça tombe très chère une solution pareille.
Je me demande s'il vaut mieux utiliser des système de fichiers distribués comme Hadoop?

[estofilo]

Wikipedia n'utilise pas PostgreSQL.
Il y a une déclinaison du programme Wikimedia qui peut tourner avec une base postgres en remplacement de mysql, mais ça n'a rien à voir avec un usage de masse.

Un exemple de gros service qui utilise postgres est Instagram. Ils donnent quelques infos sur leur plateforme dans un blog: http://instagram-engineering.tumblr.com/

Mais s'il s'agit juste de stocker des fichiers, il faut un système de fichiers distribués et non une base de données.

[archer]

Oui, en effet, j'ai trouvé un système de fichier open source Hadoop. Mais le matériel coûte très cher.
Je crois qu'il vaut mieux coupler un système de fichier avec une solution d'archivage par bande magnétique pour les données qui dépassent un an d’ancienneté.

[el_muchacho]

Envoyé par archer

Oui, en effet, j'ai trouvé un système de fichier open source Hadoop. Mais le matériel coûte très cher.
Je crois qu'il vaut mieux coupler un système de fichier avec une solution d'archivage par bande magnétique pour les données qui dépassent un an d’ancienneté.

Pour de telles masses de données, il n'y a en effet que les systèmes distribués comme Hadoop/HBase et Cassandra. Sinon ce sont des systèmes commerciaux extrêmement coûteux. Maintenant, si vous pouvez archiver les données, c'est en effet la meilleure solution.