IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Développement SQL Server Discussion :

GROUP BY grosse table


Sujet :

Développement SQL Server

Vue hybride

Message précédent Message précédent   Message suivant Message suivant
  1. #1
    Membre confirmé
    Inscrit en
    Avril 2009
    Messages
    97
    Détails du profil
    Informations forums :
    Inscription : Avril 2009
    Messages : 97
    Par défaut GROUP BY grosse table
    Bonjour,

    Voilà, j'ai une grosse table d'une base de données dans un groupe de disponibilité Aways ON
    La table est partitionnées par semaine et une semaine a environ 40 millions de lignes.
    La table possède 2 colonnes [Jour_bebut], [Jour_fin] définissant l’intervalle de jours où une ligne est applicable:

    [Jour_bebut], [Jour_fin] = (1,15) la ligne est applicable pour les jours 1,2...15
    Les jours possibles sont de 1 à 400 enregistrés dans une table de référence:
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
     TableRef (Jour int not null)
    Je veux faire une SUM ... GROUP BY pour avoir les valeurs par jour possible (non par intervalle ) :

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
     
     
    SELECT t.Jour,t.semaine,r.col1,r.col2...,SUM(r.val)
    FROM TableBase t
    INNER JOIN TableRef r ON r.Jour BETWEEN t.Jour_debut AND t.Jour_fin
    AND t.semaine = 202123 /* une seule semaine pour tester */
    GROUP BY t.Jour,t.semaine,r.col1,r.col2...
    La jointure génère environ 7 milliards de lignes.... et la requête échoue à cause de problème d'espace :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    Msg 1101, Level 17, State 166, Line 52
    Could not allocate a new page for database 'TEMPDB' because of insufficient disk space in filegroup 'DEFAULT'. Create the necessary space ....
    Quelqu'un a t-il une astuce pour ce genre de requêtes avec ces volumétries ?

    D'avance Merci

  2. #2
    Membre Expert Avatar de vttman
    Homme Profil pro
    Développeur "couteau mosellan"
    Inscrit en
    Décembre 2002
    Messages
    1 140
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Moselle (Lorraine)

    Informations professionnelles :
    Activité : Développeur "couteau mosellan"
    Secteur : Industrie

    Informations forums :
    Inscription : Décembre 2002
    Messages : 1 140
    Par défaut
    Bonjour
    J'aurais écrit la requête plutôt ainsi
    =>
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
     
    SELECT t.Jour,t.semaine,r.col1,r.col2...,SUM(r.val)
    FROM TableBase t
    INNER JOIN TableRef r ON r.Jour = t.jour
    where  
    t.semaine = 202123 
    and t.jour BETWEEN t.Jour_debut AND t.Jour_fin
    GROUP BY t.Jour,t.semaine,r.col1,r.col2...
    Pour le nombre (monstrueux) de lignes , à part restreindre les conditions, ou encore découper la requête en parties
    (jour de début, jour de début+1 etc . , jour de fin) ?

    Et puis quoi faire avec ces millions de lignes derrière ?

  3. #3
    Rédacteur

    Avatar de SQLpro
    Homme Profil pro
    Expert bases de données / SQL / MS SQL Server / Postgresql
    Inscrit en
    Mai 2002
    Messages
    22 017
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Var (Provence Alpes Côte d'Azur)

    Informations professionnelles :
    Activité : Expert bases de données / SQL / MS SQL Server / Postgresql
    Secteur : Conseil

    Informations forums :
    Inscription : Mai 2002
    Messages : 22 017
    Billets dans le blog
    6
    Par défaut
    Compte tenu de ta requête une vue indexée serait plus pratique !

    A +
    Frédéric Brouard - SQLpro - ARCHITECTE DE DONNÉES - expert SGBDR et langage SQL
    Le site sur les SGBD relationnels et le langage SQL: http://sqlpro.developpez.com/
    Blog SQL, SQL Server, SGBDR : http://blog.developpez.com/sqlpro
    Expert Microsoft SQL Server - M.V.P. (Most valuable Professional) MS Corp.
    Entreprise SQL SPOT : modélisation, conseils, audit, optimisation, formation...
    * * * * * Expertise SQL Server : http://mssqlserver.fr/ * * * * *

Discussions similaires

  1. Besoin d'aide pour requête sur grosse table
    Par Fabouney dans le forum Langage SQL
    Réponses: 3
    Dernier message: 25/01/2006, 10h01
  2. Update trés lent sur une grosse table
    Par neo.51 dans le forum Oracle
    Réponses: 21
    Dernier message: 14/12/2005, 12h06
  3. [Oracle] Mieux vaut une grosse table ou plein de petite ?
    Par ShinJava dans le forum PHP & Base de données
    Réponses: 16
    Dernier message: 30/11/2005, 17h32
  4. left join multiple sur grosses tables
    Par hn2k5 dans le forum Requêtes
    Réponses: 6
    Dernier message: 30/11/2005, 17h10
  5. [Strategie]Pb recup données grosse table
    Par zach dans le forum JDBC
    Réponses: 32
    Dernier message: 28/01/2005, 16h08

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo