1. #1
    Membre habitué Avatar de zolive
    Profil pro
    Inscrit en
    décembre 2003
    Messages
    152
    Détails du profil
    Informations personnelles :
    Localisation : France, Isère (Rhône Alpes)

    Informations forums :
    Inscription : décembre 2003
    Messages : 152
    Points : 102
    Points
    102

    Par défaut Compression avant insertion

    Bonjour,
    Ma base est assez simple d'un point de vue organisation.
    D'un point de vue fonctionnel j'ai à representer
    un Million de machine
    chaque machine conserve une centaine de chaine de taille variables
    Les chaine pouvant être longue (mais comme c'est de l'XML elle se compresse bien).
    J'ai eu la reflexion suivante :
    Sachant que je fais aucun traitement sur les chaines (c'est en quelque sorte des log) mis a part pouvoir les afficher. J'ai fait la chose suivante :
    au lieu d'utiliser un champ LONG TEXT j'ai préféré compressé (zip) à la volé la chaine et l'inserer en temps que BLOB. Sur le papier je gagne énormement en place disque. Je me dis que plus j'en gagne moins la base aura du mal a gérer ce volume. Est ce que je fais une fausse route ?

  2. #2
    Expert Confirmé Sénior
    Avatar de mikedavem
    Homme Profil pro
    Architecte de base de données
    Inscrit en
    août 2005
    Messages
    4 759
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Suisse

    Informations professionnelles :
    Activité : Architecte de base de données
    Secteur : Conseil

    Informations forums :
    Inscription : août 2005
    Messages : 4 759
    Points : 10 361
    Points
    10 361

    Par défaut

    Bonjour,

    Quel SGBD utilisez vous ?

    ++

  3. #3
    Rédacteur

    Avatar de SQLpro
    Homme Profil pro
    Expert SGBDR & SQL
    Inscrit en
    mai 2002
    Messages
    14 460
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Expert SGBDR & SQL
    Secteur : Conseil

    Informations forums :
    Inscription : mai 2002
    Messages : 14 460
    Points : 32 041
    Points
    32 041

    Par défaut

    Citation Envoyé par zolive Voir le message
    Bonjour,
    Ma base est assez simple d'un point de vue organisation.
    D'un point de vue fonctionnel j'ai à representer
    un Million de machine
    chaque machine conserve une centaine de chaine de taille variables
    Les chaine pouvant être longue (mais comme c'est de l'XML elle se compresse bien).
    J'ai eu la reflexion suivante :
    Sachant que je fais aucun traitement sur les chaines (c'est en quelque sorte des log) mis a part pouvoir les afficher. J'ai fait la chose suivante :
    au lieu d'utiliser un champ LONG TEXT j'ai préféré compressé (zip) à la volé la chaine et l'inserer en temps que BLOB. Sur le papier je gagne énormement en place disque. Je me dis que plus j'en gagne moins la base aura du mal a gérer ce volume. Est ce que je fais une fausse route ?
    A mon avis oui ! En effet, certains SGBDR proposent le type XML en natif avec des méthodes d'accès des document XML en particulier XPath et XQuery et permettent d'indexer les document XML pour une recherche rapide.

    Certains autres, comme MySQL font croire qu'ils stockent du XML mais c'est en fait du texte... Bref, des peformances lamentables....

    Pour votre information, cet ouvrage qui fait le point des techniques des SGBDR face à XML (Querying Xml: Xquery, Xpath, And Sql/xml in Context) est qui est un must dans son domaine a été publié en 2006 !
    Querying Xml: Xquery, Xpath, And Sql/xml in Context: Amazon.fr: Jim Melton, Stephen Buxton: Livres en anglais@@AMEPARAM@@http://ecx.images-amazon.com/images/I/41F0XxY0x3L.@@AMEPARAM@@41F0XxY0x3L

    A +
    Frédéric Brouard - SQLpro - ARCHITECTE DE DONNÉES - expert SGBDR et langage SQL
    Site sur les SGBD relationnels et le langage SQL: http://sqlpro.developpez.com/
    Expert Microsoft SQL Server - M.V.P. (Most valuable Professional) MS Corp.
    Blog SQL, SQL Server, modélisation données : http://blog.developpez.com/sqlpro
    http://www.sqlspot.com : modélisation, conseils, audit, optimisation, formation
    * * * * * Enseignant CNAM PACA - ISEN Toulon - CESI Aix en Provence * * * * *

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo