IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

MySQL Discussion :

Optimisation des requêtes : Filtrer une table pour éviter un Full Table Scan ?


Sujet :

MySQL

Vue hybride

Message précédent Message précédent   Message suivant Message suivant
  1. #1
    Membre averti
    Homme Profil pro
    Étudiant
    Inscrit en
    Février 2015
    Messages
    42
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Slovénie

    Informations professionnelles :
    Activité : Étudiant
    Secteur : High Tech - Électronique et micro-électronique

    Informations forums :
    Inscription : Février 2015
    Messages : 42
    Par défaut Optimisation des requêtes : Filtrer une table pour éviter un Full Table Scan ?
    Bonjour à tous,

    J'ai une BDD avec une table qui contient à peu près une dizaine de millions de tuples, ces derniers représentent des statiques.

    Si je veux des statiques sur une très longue période (par exemple depuis le début des mesures), MySQL devra effectuer un "Full Table Scan", bon encore là d'accord je comprend qu'il ait besoin de parcourir toute la table pour retrouver ces informations mais ça fait beaucoup ^^.

    Cependant si je souhaite avoir juste les dernières statistiques (par exemple de la semaine en cours), je ne vois pas l'intérêt de parcourir la table en entier c'est une perte de temps et de ressources pour rien.

    J'ai donc essayé de limiter au 1000 dernières entrées (en ne prenant que les 1000 derniers ID) avec une requête imbriquée de ''type'' LIMIT mais quand je regarde l'outil d'optimisation des requêtes de WorkBench il effectue quand même un Full Index Scan, sur lequel il fait un ORDER puis ensuite il parcourt la table entièrement (de 1000 lignes) pour faire un GROUP BY (bon encore 1000 lignes ça va c'est rapide mais voilà.).


    Bref tout cela pour dire que je ne suis pas sur que cela soit très optimisé, ça fait un gros goulet d'étranglement alors que mes autres "critères de recherche" eux se base sur un "Unique Key Lookup".

    Il y aurait-il un moyen de "filtrer" ma table pour avoir mes 1000 dernières entrées sans effectuer de parcours de la table entière?

    Vous remerciant par avance pour votre réponse,
    Cordialement,
    FLIGHT'

  2. #2
    Modérateur
    Avatar de escartefigue
    Homme Profil pro
    bourreau
    Inscrit en
    Mars 2010
    Messages
    10 681
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Loir et Cher (Centre)

    Informations professionnelles :
    Activité : bourreau
    Secteur : Finance

    Informations forums :
    Inscription : Mars 2010
    Messages : 10 681
    Billets dans le blog
    10
    Par défaut
    Quel est le ddl des tables de la requête et de leurs index
    Quel est l'ordre SQL utilisé
    Quelles sont les statistiques et notamment, les keycard pour les critères de recherche et de jointure, le cluster-ratio si index cluster

  3. #3
    Membre averti
    Homme Profil pro
    Étudiant
    Inscrit en
    Février 2015
    Messages
    42
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Slovénie

    Informations professionnelles :
    Activité : Étudiant
    Secteur : High Tech - Électronique et micro-électronique

    Informations forums :
    Inscription : Février 2015
    Messages : 42
    Par défaut
    Salut escartefigue,

    Merci pour ta réponse


    Par contre je n'ai absolument rien compris de ce que tu as demandé xD (je suis débutant en BDD).
    Mes statistiques se sont des taux d'utilisation de liens radios UHF. Chaque mesure à son ID chaque mesure fait référence à un lien radio (un ID qui est une FK vers une table contenant l'ID de chaque lien et son nom).

    Après j'ai pas compris ce que tu voulais savoir

    FLIGHT'

  4. #4
    Rédacteur

    Avatar de SQLpro
    Homme Profil pro
    Expert bases de données / SQL / MS SQL Server / Postgresql
    Inscrit en
    Mai 2002
    Messages
    22 009
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Var (Provence Alpes Côte d'Azur)

    Informations professionnelles :
    Activité : Expert bases de données / SQL / MS SQL Server / Postgresql
    Secteur : Conseil

    Informations forums :
    Inscription : Mai 2002
    Messages : 22 009
    Billets dans le blog
    6
    Par défaut
    LIMIT n'est pas un critère de recherche.
    LIMIT implique de trier l'intégralité de la table pour retrouver les n lignes que vous souhaitez.
    Un critère de recherche est du ressort de la clause WHERE.

    Si dans votre table figure l'horodatage de vos données, il suffit de demander les données après une certaine DATEHEURE. Si la cardinalité du filtre est faible en regard de la table, alors il utilisera l'index et évitera un balayage complet de la table. Sinon, vous ne couperez pas au full scan.

    A +
    Frédéric Brouard - SQLpro - ARCHITECTE DE DONNÉES - expert SGBDR et langage SQL
    Le site sur les SGBD relationnels et le langage SQL: http://sqlpro.developpez.com/
    Blog SQL, SQL Server, SGBDR : http://blog.developpez.com/sqlpro
    Expert Microsoft SQL Server - M.V.P. (Most valuable Professional) MS Corp.
    Entreprise SQL SPOT : modélisation, conseils, audit, optimisation, formation...
    * * * * * Expertise SQL Server : http://mssqlserver.fr/ * * * * *

  5. #5
    Membre averti
    Homme Profil pro
    Étudiant
    Inscrit en
    Février 2015
    Messages
    42
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Slovénie

    Informations professionnelles :
    Activité : Étudiant
    Secteur : High Tech - Électronique et micro-électronique

    Informations forums :
    Inscription : Février 2015
    Messages : 42
    Par défaut
    Ha d'accord je comprends mieux ^^

    Mais je peux remplacer mon LIMIT par un WHERE alors ?
    Si je fais quelque chose comme WHERE idmesure BETWEEN (MAX(idmesure) - 1000) AND MAX(idmesure)) ?

    Et là il ne va pas parcourir toute la table ?


    FLIGHT'


    EDIT: Okay, je vais donc essayer avec la date ! merci
    Que eux tu dire par ''Si la cardinalité du filtre est faible en regard de la table'' ?

  6. #6
    Rédacteur

    Avatar de SQLpro
    Homme Profil pro
    Expert bases de données / SQL / MS SQL Server / Postgresql
    Inscrit en
    Mai 2002
    Messages
    22 009
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Var (Provence Alpes Côte d'Azur)

    Informations professionnelles :
    Activité : Expert bases de données / SQL / MS SQL Server / Postgresql
    Secteur : Conseil

    Informations forums :
    Inscription : Mai 2002
    Messages : 22 009
    Billets dans le blog
    6
    Par défaut
    Définition de "cardinalité" : nombre d’occurrence.

    A +
    Frédéric Brouard - SQLpro - ARCHITECTE DE DONNÉES - expert SGBDR et langage SQL
    Le site sur les SGBD relationnels et le langage SQL: http://sqlpro.developpez.com/
    Blog SQL, SQL Server, SGBDR : http://blog.developpez.com/sqlpro
    Expert Microsoft SQL Server - M.V.P. (Most valuable Professional) MS Corp.
    Entreprise SQL SPOT : modélisation, conseils, audit, optimisation, formation...
    * * * * * Expertise SQL Server : http://mssqlserver.fr/ * * * * *

Discussions similaires

  1. [Toutes versions] Condition sur 2 champs d'une même table pour éviter des doublons
    Par btks59 dans le forum Modélisation
    Réponses: 6
    Dernier message: 23/05/2011, 09h48
  2. Calcul d'une valeur pour insertion dans la table des faits
    Par moheissenger dans le forum Développement de jobs
    Réponses: 0
    Dernier message: 24/02/2010, 02h02
  3. Comment éviter des requêtes dans une boucle
    Par dam28800 dans le forum Langage
    Réponses: 43
    Dernier message: 04/12/2008, 17h53
  4. Réponses: 1
    Dernier message: 28/02/2008, 09h17
  5. Réponses: 4
    Dernier message: 26/01/2006, 11h35

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo