Pour faire original, quel stockage de donnée choisir ?
Notre projet :
actuellement nous stockons des données en provenance de facebook(les reponses a des posts par exemple) et nous avons un système de stat la dessus.
Nous sommes actuellement sur un SGBD mysql, et notre base est un mélange de myisam, innodb et autant vous dire, la 3 eme forme normale est un lointain souvenir...
Les index sont parfois dupliqués et les type de champs pas toujours adaptés.
Les requetes sont rarement optimisée et les tables sont assez mal foutue par rapport a notre besoin actuel.
Bref, y a de la marge en performance.
Actuellement, on a quand même des tables de 10 M de lignes qui tournent comme ca, ca marche, mais on commencee a sentir la limite qui approche.
L'ajout d'un index sur une table de cette taillee prend parfois une bonne heure par exemple, ce qui me parait super long. Notre temps de migration optimal etant en dessous de 15 minutes, les 5 heures de la derinère fois ont posé un problème.
On prévoit une montée en charge vers 100M de lignes, peut être plus dans les années a venir.
On a aussi un projet de mise en place de service pour acceder a nos données, afin de connecter plusieurs applications dessus.
Notre système est beaucoup plus accés entrée de donnée que selection. On cherche donc a avoir un système super rapide en insertion, et accessible assez vite en lecture(on ne veut pas que nos stats mettent des heures a venir)
Les solutions proposées :
Certains dans l'équipe semblent persuader que SQL nee suivra pas la cadence et que nous devons absoluement migrer vers un systeme NoSQL type hbase.
A contrario, je pense que nous avons de la matière pour nous améliorer et que nous pourrons donc avancer vers des solutions SQL qui peuvent tenir la charge (sur cluster de server???)
Qu'en pensz vous ?
Quelles sont les limitees de SQL dans ses differents domaines ?
Partager