IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Optimisations SGBD Discussion :

Optimisation et utilisation des clés étrangères [Débat]


Sujet :

Optimisations SGBD

  1. #21
    Rédacteur

    Avatar de SQLpro
    Homme Profil pro
    Expert bases de données / SQL / MS SQL Server / Postgresql
    Inscrit en
    Mai 2002
    Messages
    21 766
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Var (Provence Alpes Côte d'Azur)

    Informations professionnelles :
    Activité : Expert bases de données / SQL / MS SQL Server / Postgresql
    Secteur : Conseil

    Informations forums :
    Inscription : Mai 2002
    Messages : 21 766
    Points : 52 563
    Points
    52 563
    Billets dans le blog
    5
    Par défaut
    Il faudra quand même aller chercher les données sur le disque, il me semble ...
    Toujours non....

    Si votre mémoire a été correctement dimensionnée, moins de 1% du volume des données doit être lu depuis le disque, le reste étant déjà en mémoire...

    reprenons ma démo puisque vous ne l'avez pas comprise (je la simplifie volontairement en ne parlant pas des actions entreprises sur le journal de transaction)...

    Un utilisateur fait un INSERT via un port réseau. L'insert vient donc bien directement en RAM. La ligne est insérée dans une des pages mémoire de la table. Si la table (ou au moins une de ses pages avec un peu d'espace vide) n'est pas déjà en RAM alors il faudra lire depuis le disque une page ou mettre la ligne... C'est ce fameux 1%...

    Au bout d'un certains temps (quelques minutes au maximum) on ira écrire la page dans le fichier contenant les données. Cette technique d'écriture retardée permet deux avantages :
    1) faire des salves d'écriture soit par dépassement du temps impartit, soit on iddle du proc
    2) regrouper les écritures dans l'ordre de contiguïté physique des pages par rapport au disque et non pas écrire séquentiellement les pages dans leur ordre d'arrivée (Michael Stonebraker avit prévu cela dès les années 70)...
    Et donc ainsi de passer le minimum de temps en opérations d'IO disque !

    Maintenant je voit que vous avez peu car la donnée n'est présente qu'en mémoire pendant un certains temps... C'est là qu'intervient le journal qui consiste à écrire tout simplement la demande SQL brute de fonderie dans le fichier de journalisation. Mais écrire un fichier "writeAhead" basiquement binaire est quelques chose de très rapide en regard de l'effort à faire pour insérer une ligne d'une table au bon endroit.
    Il faut ainsi remarquer que le jorunal est l'un des tout premier point de contention d'un SGBDR.

    Vous constaterez donc que les données sont préalablement mises en mémoire et non mise en mémoire suite à la lecture d'un disque !

    Mais cette technologie est la conséquence de plus de 30 années de R&D

    A +
    Frédéric Brouard - SQLpro - ARCHITECTE DE DONNÉES - expert SGBDR et langage SQL
    Le site sur les SGBD relationnels et le langage SQL: http://sqlpro.developpez.com/
    Blog SQL, SQL Server, SGBDR : http://blog.developpez.com/sqlpro
    Expert Microsoft SQL Server - M.V.P. (Most valuable Professional) MS Corp.
    Entreprise SQL SPOT : modélisation, conseils, audit, optimisation, formation...
    * * * * * Expertise SQL Server : http://mssqlserver.fr/ * * * * *

  2. #22
    Expert éminent sénior
    Avatar de fsmrel
    Homme Profil pro
    Spécialiste en bases de données
    Inscrit en
    Septembre 2006
    Messages
    8 001
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Essonne (Île de France)

    Informations professionnelles :
    Activité : Spécialiste en bases de données
    Secteur : Conseil

    Informations forums :
    Inscription : Septembre 2006
    Messages : 8 001
    Points : 30 905
    Points
    30 905
    Billets dans le blog
    16
    Par défaut
    Bonsoir,


    Citation Envoyé par SQLPro
    Il faudra quand même aller chercher les données sur le disque, il me semble ...
    Toujours non....
    Si votre mémoire a été correctement dimensionnée, moins de 1% du volume des données doit être lu depuis le disque, le reste étant déjà en mémoire...
    Hum... Je suis plutôt d’accord avec Luc Orient. Considérons l’environnement suivant : Mainframe IBM, DB2 for z/OS. Pour avoir passé des nuits à observer au gnagnascope (Detector de Platinum en l’occurrence) et en temps réel le comportement de batchs conséquents du genre "Appels des cotisations", avec lesquels on procède à des jointures de plein de tables comportant entre 10 millions et 100 millions de lignes (sans parler des mises à jour), je n’ai pas constaté que 99% des données étaient déjà présentes en mémoire, très loin s’en faut (même si je n’ai plus les chiffres en tête).

    Même si beaucoup de données sont déjà mémorisées, le SGBD est bien obligé d’accéder aux disques à un moment donné pour récupérer ce qui manque et pouvoir garnir ses buffer pools. Certes DB2 sait ce qu'il a déjà en mémoire et à défaut s’il doit lire les pages des disques par rafales rapides plutôt qu’à l’unité (voire basculer en temps réel d’un mode à l’autre), mais quand même. Et surtout, mes batchs ne sont pas seuls à s’activer : simultanément, ils ont plein de copains qui consomment eux aussi les ressources. Si j’ai besoin de 60 GB de mémoire vive pour mes table spaces, index spaces, fichiers de travail, de tri, journaux en tous genres, etc., et si on est une centaine en concurrence, ça m’étonnerait que la Production privilégie mes batchs, quelle que soit sa bonne volonté. Mais si un jour on met à ma disposition une batterie de Z10 à 1,5 TB de mémoire, je serai preneur...
    (a) Faites simple, mais pas plus simple ! (A. Einstein)
    (b) Certes, E=mc², mais si on discute un peu, on peut l’avoir pour beaucoup moins cher... (G. Lacroix, « Les Euphorismes de Grégoire »)
    => La relativité n'existerait donc que relativement aux relativistes (Jean Eisenstaedt, « Einstein et la relativité générale »)

    __________________________________
    Bases de données relationnelles et normalisation : de la première à la sixième forme normale
    Modéliser les données avec MySQL Workbench
    Je ne réponds pas aux questions techniques par MP. Les forums sont là pour ça.

  3. #23
    Rédacteur

    Avatar de SQLpro
    Homme Profil pro
    Expert bases de données / SQL / MS SQL Server / Postgresql
    Inscrit en
    Mai 2002
    Messages
    21 766
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Var (Provence Alpes Côte d'Azur)

    Informations professionnelles :
    Activité : Expert bases de données / SQL / MS SQL Server / Postgresql
    Secteur : Conseil

    Informations forums :
    Inscription : Mai 2002
    Messages : 21 766
    Points : 52 563
    Points
    52 563
    Billets dans le blog
    5
    Par défaut
    un gain de 15 % sur la performance.
    C'est un gain nul et idiot. Le database tuning advisor par ses énormité a été supprimé de la version 2000. Même le support officiel MS déconseille de l'utiliser !

    Sur la mise en cache. oui 99% des données en cache est un but. Si 95% l'est sur une VLDB, c'est déjà pas mal...

    A +
    Frédéric Brouard - SQLpro - ARCHITECTE DE DONNÉES - expert SGBDR et langage SQL
    Le site sur les SGBD relationnels et le langage SQL: http://sqlpro.developpez.com/
    Blog SQL, SQL Server, SGBDR : http://blog.developpez.com/sqlpro
    Expert Microsoft SQL Server - M.V.P. (Most valuable Professional) MS Corp.
    Entreprise SQL SPOT : modélisation, conseils, audit, optimisation, formation...
    * * * * * Expertise SQL Server : http://mssqlserver.fr/ * * * * *

Discussions similaires

  1. Import/export sql 2000 impossible à causes des clés étrangères
    Par chouchou2clichy dans le forum MS SQL Server
    Réponses: 1
    Dernier message: 24/03/2007, 08h27
  2. [hibernate 3] [mapping] Description des clés étrangères
    Par CharlSka dans le forum Hibernate
    Réponses: 2
    Dernier message: 01/02/2007, 09h01
  3. Réponses: 5
    Dernier message: 05/10/2006, 19h07
  4. Gestion des clés étrangères
    Par Gonelle dans le forum HyperFileSQL
    Réponses: 1
    Dernier message: 06/07/2006, 10h48
  5. Optimiser l'utilisation des pointeurs
    Par progfou dans le forum C
    Réponses: 65
    Dernier message: 10/03/2006, 11h49

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo