Discussion :

[Nuwanda]

Hello.

Donc j'entends des mots mais je ne sais pas s'ils peuvent correspondre à nos besoins.

L'architecture des bases de données actuelle me plait que moyennement et donc j'aimerai savoir s'il y a un meilleur moyen de faire.

Nos contraintes:
- environ 2 millions d'inserts toutes les 5 minutes, évidemment un seul et unique serveur ne peut tenir la charge, taille d'un insert : (2 date, 2 entier identifiants, et un réel)
- Traiter ces données.

J'ai pas mal de question:
- Est-ce que d'un point de vue développeur un cluster est vu comme une seule base de donnée sur un serveur, donc il n'a pas à se soucier du nombre de serveur, de leur noms etc...
- Est-ce qu'un cluster peut gérer cette fréquence d'insert, je ne sais pas si c'est beaucoup ou pas, je n'ai pas d'idée pour les autres
- Que se passe t'il si un serveur du cluster tombe lamemtablement
- Est-ce bien un cluster qui soit adapté à mon problème.
- Le cluster fait-il du load balancing.
- Quelles bases de données pourraient tenir le coup?

Merci beaucoup pour vos éclaircissements

Nuwanda.

[jmguiche]

Les réponses à tes questions dépendent du sgbd et de ton application.
Les 2 millions d'insert, sont fait par combien de process ?
Pour tenir une charge pareil, la limite risque aussi d'etre les io.
Tu devrais regarder du coté des tables partitionnées, ou équivalent, si ton sgbd connait.

Avec Oracle :
Pour le dévelopeur, un cluster c'est une base.
Ce n'est pas le cluster qui va gerer autant d'insert, c'est tout une architecture, dont les cluster.
Si un serveur du cluster se plante, le systeme continue, avec une pate en moins, mais il continue. Cela permet la tolerance de pannes.
Le cluster fait du load balancing.
Ton probleme n'est pas le sgbd, avec oraxle ou sqlserver, cela doit marcher, Oracle a plus de référence de la choses. Ton problemes est plus hardware. amha, c'est aupres des fornisseurs de hard qu'il faut se tourner pour avoir du conseil.

[gregory.broissard]

DB2 propose également un fonctionnement en cluster pas mal.

Attention à SQLServer, en cluster actif/actif, où une base de données est attachée à un noeud et le noeud est attaché à un serveur donc pas de load balancing sur cette base, uniquement de la tolérance à la panne puisque si une machine tombe, le noeud est repris sur la 2eme machine.

On parle de VLDB à partir de plusieurs centaines de Go de données, je ne sais pas si tu es dans ce cas.

Effectivement il faut poser la question aux fournisseurs de hardware et notamment à vos fournisseurs de baie de stockage !

Ensuite, il faut vraiment voir comment vous allez faire vos inserts, par programme applicatif? en utilisant les utilitaires de chargement du SGBD (SQLLoader, Load dB2?) .

Pour l'histoire j'ai vu un LOAD DB2 charger 32 millions de lignes en base en 8 secondes (longueur de ligne très faible 2 entiers .)