IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

PostgreSQL Discussion :

Support bases de données avec très forte volumétrie


Sujet :

PostgreSQL

  1. #1
    Membre du Club
    Profil pro
    Inscrit en
    Novembre 2006
    Messages
    67
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Novembre 2006
    Messages : 67
    Points : 41
    Points
    41
    Par défaut Support bases de données avec très forte volumétrie
    Bonjour à tous,

    Je travaille sur un projet dans le domaine spatial, dans lequel la problématique principale est la forte volumétrie des données (après estimation, la base de données pourra arriver à atteindre 1 petaoctet!).

    Même si le choix d'Oracle pourrait paraître le plus pertinent, il y a l'inconvénient des prix des licences complètement abusifs.
    Il faut donc étudier la faisabilité d'utiliser un SGBD Open-Source comme PostgreSQL. L'option "partitioning" et une gestion optimisée des BLOBs semblent nécessaires.

    Quel est votre avis là-dessus? Connaissez-vous des VLDB (Very Large Data Bases) dans le marché qui soient gérées avec PostgreSQL (sans modifications du moteur)?
    Sinon, savez vous si dans les 3 ans à venir, PostgreSQL supportera des très fortes volumétries? En effet, notre base de données n'atteindra le petaoctet qu'après 3 ans d'exploitation.

    Merci pour votre rétour d'expérience,
    Cordialement,
    Fgalves

  2. #2
    Membre chevronné
    Avatar de kedare
    Homme Profil pro
    Network Automation Engineer
    Inscrit en
    Juillet 2005
    Messages
    1 548
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Loire Atlantique (Pays de la Loire)

    Informations professionnelles :
    Activité : Network Automation Engineer

    Informations forums :
    Inscription : Juillet 2005
    Messages : 1 548
    Points : 1 861
    Points
    1 861
    Par défaut
    Hello,
    Je sais que YAHOO possède une base de données Postgresql de plus de 2Po, mais il me semble (je suis pas sure) que postgreSQL ai été modifié pour ça....

  3. #3
    Membre émérite
    Profil pro
    Inscrit en
    Octobre 2008
    Messages
    1 874
    Détails du profil
    Informations personnelles :
    Localisation : France, Paris (Île de France)

    Informations forums :
    Inscription : Octobre 2008
    Messages : 1 874
    Points : 2 890
    Points
    2 890
    Par défaut
    Pour sa base de plusieurs péta-octets, Yahoo utilise un cluster de machines, avec un système de parallélisation des requêtes du style map-reduce. Par ailleurs ils ont apparemment adapté le stockage pour qu'il soit orienté en colonnes.
    Tu peux regarder du côté de HadoopDB pour un cluster basé sur PG qui vise ce genre de volume.

  4. #4
    Rédacteur

    Avatar de SQLpro
    Homme Profil pro
    Expert bases de données / SQL / MS SQL Server / Postgresql
    Inscrit en
    Mai 2002
    Messages
    21 761
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Var (Provence Alpes Côte d'Azur)

    Informations professionnelles :
    Activité : Expert bases de données / SQL / MS SQL Server / Postgresql
    Secteur : Conseil

    Informations forums :
    Inscription : Mai 2002
    Messages : 21 761
    Points : 52 547
    Points
    52 547
    Billets dans le blog
    5
    Par défaut
    Pourquoi ne pas voir du côté de SQL Server 2008 ? C'est bien moins cher que Oracle (10 à 12 fois moins) avec un SIG complet, le partitionnement et la possibilité de faire des bases de données réparties et asynchrones via Service Broker....

    Globalement je parierait sur le fait que cela vous coutera moins cher qu'une solution open source pour laquelle vous serez toujours coincé par un outil payant et très cher, sans aucune garantie de pérennité...

    A +
    Frédéric Brouard - SQLpro - ARCHITECTE DE DONNÉES - expert SGBDR et langage SQL
    Le site sur les SGBD relationnels et le langage SQL: http://sqlpro.developpez.com/
    Blog SQL, SQL Server, SGBDR : http://blog.developpez.com/sqlpro
    Expert Microsoft SQL Server - M.V.P. (Most valuable Professional) MS Corp.
    Entreprise SQL SPOT : modélisation, conseils, audit, optimisation, formation...
    * * * * * Expertise SQL Server : http://mssqlserver.fr/ * * * * *

  5. #5
    jnore
    Invité(e)
    Par défaut
    Citation Envoyé par SQLpro Voir le message
    Pourquoi ne pas voir du côté de SQL Server 2008 ? C'est bien moins cher que Oracle (10 à 12 fois moins) avec un SIG complet, le partitionnement et la possibilité de faire des bases de données réparties et asynchrones via Service Broker....

    Globalement je parierait sur le fait que cela vous coutera moins cher qu'une solution open source pour laquelle vous serez toujours coincé par un outil payant et très cher, sans aucune garantie de pérennité...

    A +
    Mince, je croyais que ce forum était dédié à PostgreSQL, j'ai du me tromper !

  6. #6
    Membre éclairé Avatar de Arkhena
    Profil pro
    Inscrit en
    Décembre 2006
    Messages
    552
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Décembre 2006
    Messages : 552
    Points : 769
    Points
    769
    Par défaut
    Citation Envoyé par jnore Voir le message
    Mince, je croyais que ce forum était dédié à PostgreSQL, j'ai du me tromper !
    Ce forum est effectivement dédié à postgreSQL, mais pourquoi refuser une solution faisant appel à un autre SGBD si elle répond mieux au besoin ?

    Le plus important n'est-il pas de trouver la solution la mieux adaptée au problème indépendamment des querelles de chapelle et du prosélytisme qui ne mènent qu'à des trolls stériles ?
    A bove ante, ab asino retro, a stulto undique caveto

  7. #7
    jnore
    Invité(e)
    Par défaut
    Pour ce qui est de défendre sa chapelle, je crois que SQLPro est bien plus zélé que moi !!

  8. #8
    Membre chevronné
    Avatar de kedare
    Homme Profil pro
    Network Automation Engineer
    Inscrit en
    Juillet 2005
    Messages
    1 548
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Loire Atlantique (Pays de la Loire)

    Informations professionnelles :
    Activité : Network Automation Engineer

    Informations forums :
    Inscription : Juillet 2005
    Messages : 1 548
    Points : 1 861
    Points
    1 861
    Par défaut
    Citation Envoyé par SQLpro Voir le message
    Pourquoi ne pas voir du côté de SQL Server 2008 ? C'est bien moins cher que Oracle (10 à 12 fois moins) avec un SIG complet, le partitionnement et la possibilité de faire des bases de données réparties et asynchrones via Service Broker....

    Globalement je parierait sur le fait que cela vous coutera moins cher qu'une solution open source pour laquelle vous serez toujours coincé par un outil payant et très cher, sans aucune garantie de pérennité...

    A +
    C'est sure, pourquoi aller utiliser un/des produit(s) open-source avec éventuellement un produit proprio et cher (bon faut dire que 99% des produits lié a Postgresql sont open-source et gratuit en même temps....) a coté alors qu'on peux utiliser que des produits propriétaire et chers dépendant eux même d'autre produits tout aussi propriétaires et cher, qu'il faut racheter tout les 3 ans pour bénéficier des nouvelles features, le tout contrôlé par une société qui fait ce qui lui plait et qui sort des correctifs de sécurité quand ça lui chante (Oh mince, cette faille est chiante a corriger, bon je verrais dans 2 ou 3 mois)...

  9. #9
    Rédacteur

    Avatar de SQLpro
    Homme Profil pro
    Expert bases de données / SQL / MS SQL Server / Postgresql
    Inscrit en
    Mai 2002
    Messages
    21 761
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Var (Provence Alpes Côte d'Azur)

    Informations professionnelles :
    Activité : Expert bases de données / SQL / MS SQL Server / Postgresql
    Secteur : Conseil

    Informations forums :
    Inscription : Mai 2002
    Messages : 21 761
    Points : 52 547
    Points
    52 547
    Billets dans le blog
    5
    Par défaut
    C'est sure, pourquoi aller utiliser un/des produit(s) open-source avec éventuellement un produit proprio et cher (bon faut dire que 99% des produits lié a Postgresql sont open-source et gratuit en même temps....) a coté alors qu'on peux utiliser que des produits propriétaire et chers dépendant eux même d'autre produits tout aussi propriétaires et cher, qu'il faut racheter tout les 3 ans pour bénéficier des nouvelles features, le tout contrôlé par une société qui fait ce qui lui plait et qui sort des correctifs de sécurité quand ça lui chante (Oh mince, cette faille est chiante a corriger, bon je verrais dans 2 ou 3 mois)...
    Vous parlez sans doute d'Oracle qui vient de racheter MySQL au passage ?

    Sur les correctifs : http://www.google.fr/url?sa=t&source...xtBuPnF7FhvO8A

    Sur les prix : http://i.microsoft.com/global/sqlser...05-lic-tco.gif

    A +
    Frédéric Brouard - SQLpro - ARCHITECTE DE DONNÉES - expert SGBDR et langage SQL
    Le site sur les SGBD relationnels et le langage SQL: http://sqlpro.developpez.com/
    Blog SQL, SQL Server, SGBDR : http://blog.developpez.com/sqlpro
    Expert Microsoft SQL Server - M.V.P. (Most valuable Professional) MS Corp.
    Entreprise SQL SPOT : modélisation, conseils, audit, optimisation, formation...
    * * * * * Expertise SQL Server : http://mssqlserver.fr/ * * * * *

  10. #10
    Membre chevronné
    Avatar de kedare
    Homme Profil pro
    Network Automation Engineer
    Inscrit en
    Juillet 2005
    Messages
    1 548
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Loire Atlantique (Pays de la Loire)

    Informations professionnelles :
    Activité : Network Automation Engineer

    Informations forums :
    Inscription : Juillet 2005
    Messages : 1 548
    Points : 1 861
    Points
    1 861
    Par défaut
    Dans vos comparaisons on vois que des bases de données proprietaires,
    Je parlais pas spécialement de mysql et d'oracle, mais des bases de données open source VS bases de données propriétaires

  11. #11
    Rédacteur

    Avatar de SQLpro
    Homme Profil pro
    Expert bases de données / SQL / MS SQL Server / Postgresql
    Inscrit en
    Mai 2002
    Messages
    21 761
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Var (Provence Alpes Côte d'Azur)

    Informations professionnelles :
    Activité : Expert bases de données / SQL / MS SQL Server / Postgresql
    Secteur : Conseil

    Informations forums :
    Inscription : Mai 2002
    Messages : 21 761
    Points : 52 547
    Points
    52 547
    Billets dans le blog
    5
    Par défaut
    Je parlais pas spécialement de mysql et d'oracle, mais des bases de données open source VS bases de données propriétaires
    Propriétaire ou libre il faut savoir être réaliste. Par exemple pour les réplications si je choisit Oracle ou MySQL, mes développeurs mettrons plusieurs mois a développer cela. Alors qu'avec SQL Server une journée suffit. Compte tenu du coût d'un salarié (au minimum 5000 € par mois) je préfère payer la licence SQL Server, cela me reviendra moins cher...

    Pourquoi croyez vous qu'en débit de l'invitation à faire du libre, la plupart des administrations préfèrent encore de l'oracle du SQL Server ou de l'IBM ???
    Pensez vous naïvement qu'elles dépensent sans considération l'argent du contribuable ???

    A +
    Frédéric Brouard - SQLpro - ARCHITECTE DE DONNÉES - expert SGBDR et langage SQL
    Le site sur les SGBD relationnels et le langage SQL: http://sqlpro.developpez.com/
    Blog SQL, SQL Server, SGBDR : http://blog.developpez.com/sqlpro
    Expert Microsoft SQL Server - M.V.P. (Most valuable Professional) MS Corp.
    Entreprise SQL SPOT : modélisation, conseils, audit, optimisation, formation...
    * * * * * Expertise SQL Server : http://mssqlserver.fr/ * * * * *

  12. #12
    Membre chevronné
    Avatar de kedare
    Homme Profil pro
    Network Automation Engineer
    Inscrit en
    Juillet 2005
    Messages
    1 548
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Loire Atlantique (Pays de la Loire)

    Informations professionnelles :
    Activité : Network Automation Engineer

    Informations forums :
    Inscription : Juillet 2005
    Messages : 1 548
    Points : 1 861
    Points
    1 861
    Par défaut
    Citation Envoyé par SQLpro Voir le message
    Pourquoi croyez vous qu'en débit de l'invitation à faire du libre, la plupart des administrations préfèrent encore de l'oracle du SQL Server ou de l'IBM ???
    Pensez vous naïvement qu'elles dépensent sans considération l'argent du contribuable ???
    A +
    Car a l'époque c'était les solutions viable et que les applications développé pour les utiliser, et que ça serais trop long et/ou couteux de les rendre compatible avec autre chose ?

    Certe Oracle et MS-SQL ont toujours des avantages dans certains domaines comme la réplication ou le reporting, mais faut arreter de dire que pour le moindre truc faut aller dépenser des milliers d'€ alors que des solutions libres existent et feraient très bien l'affaire..

  13. #13
    Rédacteur

    Avatar de SQLpro
    Homme Profil pro
    Expert bases de données / SQL / MS SQL Server / Postgresql
    Inscrit en
    Mai 2002
    Messages
    21 761
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Var (Provence Alpes Côte d'Azur)

    Informations professionnelles :
    Activité : Expert bases de données / SQL / MS SQL Server / Postgresql
    Secteur : Conseil

    Informations forums :
    Inscription : Mai 2002
    Messages : 21 761
    Points : 52 547
    Points
    52 547
    Billets dans le blog
    5
    Par défaut
    En particulier sur la gestion des VLDB, aucun SGBDR libre n'est encore à la cheville de ce que font les 3 grands :
    • gestion des espaces disques avec prétaillage des volumes et répartition des fichiers
    • gestion fine du partitionnement avec indépendance table/index et switch, merge et split de partition
    • défragmentation ou reconstruction en ligne des index (pas de perte de l'index ou de la table pendant qu'elle est en train d'être défragmentée
    • restauration parcellaire (granularité minimale une page)... Imaginez le temps de restauration d'une base de 5 To...

    etc...

    A +
    Frédéric Brouard - SQLpro - ARCHITECTE DE DONNÉES - expert SGBDR et langage SQL
    Le site sur les SGBD relationnels et le langage SQL: http://sqlpro.developpez.com/
    Blog SQL, SQL Server, SGBDR : http://blog.developpez.com/sqlpro
    Expert Microsoft SQL Server - M.V.P. (Most valuable Professional) MS Corp.
    Entreprise SQL SPOT : modélisation, conseils, audit, optimisation, formation...
    * * * * * Expertise SQL Server : http://mssqlserver.fr/ * * * * *

Discussions similaires

  1. meilleure base de données avec java
    Par mial dans le forum JDBC
    Réponses: 11
    Dernier message: 10/11/2010, 11h49
  2. Modélisation base de données avec visio
    Par BIDA dans le forum Visio
    Réponses: 3
    Dernier message: 07/08/2007, 13h31
  3. Récupérer ma base de donnée avec des tables en .frm uniqueme
    Par Michas dans le forum Administration
    Réponses: 5
    Dernier message: 31/08/2005, 13h57
  4. création base de données avec easyphp
    Par Battosaiii dans le forum Débuter
    Réponses: 5
    Dernier message: 29/06/2004, 18h50
  5. Modifier le nom d'une base de donnée avec erreur sy
    Par mmn dans le forum MS SQL Server
    Réponses: 2
    Dernier message: 25/11/2003, 10h12

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo