IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Optimisations SGBD Discussion :

Compression avant insertion


Sujet :

Optimisations SGBD

  1. #1
    Membre habitué Avatar de zolive
    Profil pro
    Inscrit en
    Décembre 2003
    Messages
    152
    Détails du profil
    Informations personnelles :
    Localisation : France, Isère (Rhône Alpes)

    Informations forums :
    Inscription : Décembre 2003
    Messages : 152
    Points : 137
    Points
    137
    Par défaut Compression avant insertion
    Bonjour,
    Ma base est assez simple d'un point de vue organisation.
    D'un point de vue fonctionnel j'ai à representer
    un Million de machine
    chaque machine conserve une centaine de chaine de taille variables
    Les chaine pouvant être longue (mais comme c'est de l'XML elle se compresse bien).
    J'ai eu la reflexion suivante :
    Sachant que je fais aucun traitement sur les chaines (c'est en quelque sorte des log) mis a part pouvoir les afficher. J'ai fait la chose suivante :
    au lieu d'utiliser un champ LONG TEXT j'ai préféré compressé (zip) à la volé la chaine et l'inserer en temps que BLOB. Sur le papier je gagne énormement en place disque. Je me dis que plus j'en gagne moins la base aura du mal a gérer ce volume. Est ce que je fais une fausse route ?

  2. #2
    Expert éminent sénior
    Avatar de mikedavem
    Homme Profil pro
    Administrateur de base de données
    Inscrit en
    Août 2005
    Messages
    5 450
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 45
    Localisation : France, Ain (Rhône Alpes)

    Informations professionnelles :
    Activité : Administrateur de base de données
    Secteur : Distribution

    Informations forums :
    Inscription : Août 2005
    Messages : 5 450
    Points : 12 891
    Points
    12 891
    Par défaut
    Bonjour,

    Quel SGBD utilisez vous ?

    ++

  3. #3
    Rédacteur

    Avatar de SQLpro
    Homme Profil pro
    Expert bases de données / SQL / MS SQL Server / Postgresql
    Inscrit en
    Mai 2002
    Messages
    21 716
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Var (Provence Alpes Côte d'Azur)

    Informations professionnelles :
    Activité : Expert bases de données / SQL / MS SQL Server / Postgresql
    Secteur : Conseil

    Informations forums :
    Inscription : Mai 2002
    Messages : 21 716
    Points : 52 380
    Points
    52 380
    Billets dans le blog
    4
    Par défaut
    Citation Envoyé par zolive Voir le message
    Bonjour,
    Ma base est assez simple d'un point de vue organisation.
    D'un point de vue fonctionnel j'ai à representer
    un Million de machine
    chaque machine conserve une centaine de chaine de taille variables
    Les chaine pouvant être longue (mais comme c'est de l'XML elle se compresse bien).
    J'ai eu la reflexion suivante :
    Sachant que je fais aucun traitement sur les chaines (c'est en quelque sorte des log) mis a part pouvoir les afficher. J'ai fait la chose suivante :
    au lieu d'utiliser un champ LONG TEXT j'ai préféré compressé (zip) à la volé la chaine et l'inserer en temps que BLOB. Sur le papier je gagne énormement en place disque. Je me dis que plus j'en gagne moins la base aura du mal a gérer ce volume. Est ce que je fais une fausse route ?
    A mon avis oui ! En effet, certains SGBDR proposent le type XML en natif avec des méthodes d'accès des document XML en particulier XPath et XQuery et permettent d'indexer les document XML pour une recherche rapide.

    Certains autres, comme MySQL font croire qu'ils stockent du XML mais c'est en fait du texte... Bref, des peformances lamentables....

    Pour votre information, cet ouvrage qui fait le point des techniques des SGBDR face à XML (Querying Xml: Xquery, Xpath, And Sql/xml in Context) est qui est un must dans son domaine a été publié en 2006 !
    Querying Xml: Xquery, Xpath, And Sql/xml in Context: Amazon.fr: Jim Melton, Stephen Buxton: Livres en anglais@@AMEPARAM@@http://ecx.images-amazon.com/images/I/41F0XxY0x3L.@@AMEPARAM@@41F0XxY0x3L

    A +
    Frédéric Brouard - SQLpro - ARCHITECTE DE DONNÉES - expert SGBDR et langage SQL
    Le site sur les SGBD relationnels et le langage SQL: http://sqlpro.developpez.com/
    Blog SQL, SQL Server, SGBDR : http://blog.developpez.com/sqlpro
    Expert Microsoft SQL Server - M.V.P. (Most valuable Professional) MS Corp.
    Entreprise SQL SPOT : modélisation, conseils, audit, optimisation, formation...
    * * * * * Expertise SQL Server : http://mssqlserver.fr/ * * * * *

Discussions similaires

  1. Compresser les données avant insertion ?
    Par GregPeck dans le forum Outils
    Réponses: 2
    Dernier message: 07/08/2006, 17h09
  2. Supprimer espace avant insertion dans état
    Par aCe_GiK dans le forum Access
    Réponses: 5
    Dernier message: 24/04/2006, 18h34
  3. Modification avant insertion
    Par KernelControl dans le forum Oracle
    Réponses: 2
    Dernier message: 21/12/2005, 14h54
  4. [MySQL] Vérification de doublons avant insertion
    Par Nicos77 dans le forum PHP & Base de données
    Réponses: 15
    Dernier message: 09/12/2005, 14h37
  5. [MySQL] Vérification de la présence d'enregistrement avant insertion
    Par Odilon dans le forum PHP & Base de données
    Réponses: 7
    Dernier message: 28/09/2005, 16h30

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo