Quel SGBD ?

[Cornu]

Bonjour à tous,

Il s'agit certainement d'un message supplémentaire comme vous en voyez passer des tonnes. Je ne connais presque rien (si ce n'est la base) aux bases de données et je commence à réfléchir, dans le cadre du boulot, à une solution qui reposerait sur une base de donnée.

Je vous présente mes contraintes, j'espère que quelqu'un aura le temps et le courage de me conseiller :
- Nous souhaitons mettre dans la base des données qui, sous format binaire, prennent entre 2 et 4To. Il s'agit de float.
- Les données sont des matrices x dimensions représentant un espace géographique (une section de sol avec une altitude fixe - les 3 premières dimensions) et de multiples valeurs associées à chaque point de cette matrices. Chaque fichier contient une de ses matrices pour chaque heure sur une période de 3 jours. Et nous avons un fichier comme celui ci pour chaque jour de l'année.

La structure des données est un poils plus compliquée, mais ça ne vaut pas le coup de trop entrer dans les détails je pense.
L'idée est de pouvoir ensuite interfacer cette base avec un serveur web pour pouvoir faire des requêtes dynamique, un peu de visualisation etc...

Les grandes questions que je me pose :
- Comment organiser les données dans la base ? Sachant qu'une des utilisation pourrait être d'aller chercher une valeur unique dans chaque fichier sur 6 mois d'historique par exemple. Et rarement d'accéder à tout le contenu d'une matrice. Créer une gigantesque base ? Une base par fichier ? Une pour 2 mois ?
- Est ce que des solutions gratuites de BDD comme Mysql ou PoSQL sont capable de gérer, avec des temps d'accès raisonnables, des bases de plusieurs Tera ?

Vos conseils me seront précieux !

Merci à vous et bon app
Raph

[gregory.broissard]

au vue du volume et des besoins, je pense qu'il ne faut pas mettre les données en base mais sur un filesystem.
Par contre, dans la base de données, vous mettez toutes les données d'informations relatives à chaque fichier avec un pointeur vers ce fichier.

vous cherchez les infos du 25/09, paf, une requete SELECT dans la base qui ramene le pointeur vers le fichier et hop on ouvre le fichier.

Ca elude votre probleme de volume de données.

[Cornu]

Merci de ta réponse Gregory, je vais me documenter sur cette solution.

Malgrès tout, j'aimerais savoir comment se comporterais une des BDD gratuite (voir même Oracle s'il existe des licences abordables) face à 5 To de données (qu'on supposerait parfaitement structuré : bon découpage des bases et des tables etc... ) ? Puisque la question ici n'est pas d'avoir un temps de réponse super rapide.
Est ce que ça serait utilisable ?

[gregory.broissard]

si on a un modèle de données ok, une répartition des tablespaces bien faite, Oracle, oui je connais personnellement une application transactionnelle gérant plusieurs To de données en ligne.

DB2 également, en tout cas sur les mainframes, c'est assez courant.

Pour les autres, je ne sais pas.

[Cornu]

Ok, merci pour ton aide Gregory

[SQLpro]

SQL Server sur du PC gère à l'aise cette volumétrie. J'ai quelques clients ayant actuellement plus d'1To. La plus grosse base en fait 3. (octoprocesseur avec 64 Go de RAM).

A +