Discussion :

[onimougwo]

Bonjour,

Je ne m'y connais pas beaucoup en sql et je voudrais simplifier une requête.
La situation :
J'ai deux tables dont l'une a 1 300 000 lignes (HT02_EXPDM) et l'autre 1 400 000 lignes (VI02_LGFAC) .
Je fais la requête suivante :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
INSERT INTO HT02_EXPDM (HT02IDFACT, HT02IDLGN)
  SELECT VI02IDFACT_VI01IDFACT, VI02IDLGN
  FROM VI02_LGFAC
  WHERE VI02_LGFAC.VI02IDFACT_VI01IDFACT NOT IN (SELECT DISTINCT HT02IDFACT FROM HT02_EXPDM);
 
COMMIT;

Je parcours donc une table A de 1 400 000 lignes et j'insère dans la table B de 1 300 000 lignes les enregistrements de A si ils ne sont pas déjà dans la table B de 1 300 000 lignes

Je lance cette commande à la main dans Sql developper pour alimenter ma table oracle.
Le problème c'est que le traitement n'aboutit pas, une barre m'indiquant que le traitement est toujours en cours ( au bout de 12h).
Pour m'assurer que la requête marche je l'ai faite tourner avec deux tables contenant 5000 d'enregistrement et cela a prit 5 secondes environs donc si on fait un petit calcul on s'imagine que 12 h c'est largement assez pour que le traitement est pu finir avec 1 300 000 lignes.

1 - Je voudrais donc savoir si cette requête peut être simplifiée pour être moins gourmande et moins lourde ?
2 - Est il possible de découper ce genre de requête ?
3 - D'où pourrais venir mon problème ?

[al1_24]

Deux autres manières de faire :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
INSERT INTO ht02_expdm 
    (   ht02idfact
    ,   ht02idlgn
    )
SELECT  vi.vi02idfact_vi01idfact
    ,   vi.vi02idlgn
FROM    vi02_lgfac  AS vi
WHERE   NOT EXISTS  
        (   SELECT  1 
            FROM    ht02_expdm  AS ht
            WHERE   vi.vi02idfact_vi01idfact = ht.ht02idfact
        )
;

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
INSERT INTO ht02_expdm 
    (   ht02idfact
    ,   ht02idlgn
    )
SELECT  vi.vi02idfact_vi01idfact
    ,   vi.vi02idlgn
FROM    vi02_lgfac  AS vi
    LEFT JOIN
        ht02_expdm  AS ht
        ON  vi.vi02idfact_vi01idfact = ht.ht02idfact
WHERE   ht.ht02idfact   IS NULL
;

Dans tous les cas, il est préférable que les colonnes comparées soient indexées

[xian21]

Salut al1,

Qu'est ce qui fait que tes requetes vont etre plus rapide a execute que celle de onimou.
Exists est il plus performant que in?

[al1_24]

EXISTS effectue une jointure, au même titre que LEFT JOIN, en s'appuyant sur les index s'ils existent.
Dans le cas du NOT IN (SELECT DISTINCT ...), le SGBD (à moins qu'il ait un optimiseur super efficace qui transforme la requête en jointure) va commencer par créer une table temporaire avec la sous-requête, puis effectuer le regroupement réclamé par le DISTINCT, avant de comparer la liste à la table.

Mais tout dépend de l'optimiseur du SGBD et des informations qu'il a à sa disposition (index, statistiques) pour choisir la meilleure tactique.

[xian21]

Donc si je comprends (desole de pourrir ton post onimou)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
SELECT * FROM interventions WHERE idintervenant IN (SELECT idintervenant FROM intervenants WHERE idutilisateur = 1 )
AND date>='2008-05-12 00:00:00' AND date<='2008-05-14 23:59:59' ORDER BY date DESC

sera apriori moins performant que

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
SELECT * FROM interventions WHERE idintervenant EXISTS (SELECT idintervenant FROM intervenants WHERE idutilisateur = 1 )
AND date BETWEEN '2008-05-12 00:00:00' AND '2008-05-14 23:59:59' ORDER BY date DESC

du fait de la creation d'une table intermediaire a cause du IN, (idem pour le between?)

[Yanika_bzh]

oui
Mais cela depend de l'optimiseur de votre SGBD