Discussion :

[lordMehdi]

Bonjour,

Je voudrais effectuer la requête :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

delete from "point" where grid not in (select id from gridmeasure).

La table "point" contient 56000000 de lignes et dispose d'un index sur la colonne "grid" et d'une colonne geometry.

Temps d’exécution de la requête incomplete) >17h

J'ai effectué la même requête sur un échantillon de 1000000 de lignes et je l'ai arrêté après un temps d'exécution > 2h22

Sauriez vous comment optimiser l'exécution de cette requête? Merci d'avance.

[punkoff]

Bonjour,

Est-ce que vos stats sont à jour ? (analyze table_name)

Le delete va supprimer combien de lignes (en % approximatif) ?
=> Si c'est un gros volume alors il serai interessant de passer par une création d'une table temporaire en ne gardant dedans que les données voulu puis de dropper / truncate la table initiale.


=> Si ça n'est pas le cas, enlevez tous les autres index (voir même l'index sur grid s'il n'est pas utilisé) avant de faire votre delete.

=> Est-ce que la colonne id de gridmeasure est une pk / indéxé ?


D'un point de vu générale, pourquoi avez-vous des lignes dans la table point non référencées dans la table gridmeasure ? Vous n'utilisez pas les foreign key ?

[SQLpro]

Il aurait été bien plus intéressant de faire ces delete en temps réel au fil de l'eau.

mais maintenant que vous êtes dans le mouise, quelques recettes :
1) désactivez tous les index non sémantiques et inutile pour votre requête, avant delete et recréez les après
2) désactivez toutes les contraintes inutiles (sauf PK) et recréez les après

Déjà ceci devrait diminuer singulièrement le temps de traitement.

Ensuite : procédez par lot pour éviter un engorgement transactionnel plutôt que de passer par une table temporaires. par exemple par lot de 100 000 lignes jusqu'à plus soif.

Vous devriez arriver en principe à diviser par 2 à 10 le traitement.

A +

[estofilo]

On va supposer que les id en question ne peuvent pas être à NULL.
Suivant le cas, une simple réécriture comme ceci peut éventuellement résoudre le pb de performance:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

delete from "point" p where not exists (select id from gridmeasure where id=p.grid)

Il se peut que ça génère un plan d'éxécution à base d'anti-join, qui sera certainement plus efficace que l'autre, si gridmeasure est une table beaucoup plus petite que point.
A tester.

Sinon il y a aussi une autre version possible avec un LEFT JOIN en sous-requête pour sortir les IDs qui sont dans une table et pas dans l'autre. Ca peut aussi donner un plan plus efficace suivant la situation.

Mais en règle générale, il faudrait poster le résultat d'EXPLAIN de la requête pour avoir des conseils plus éclairés.

[lordMehdi]

Salut,

Merci pour ces différentes réponses. Je les traiterai une par une et je vous dirais ce qu'il en est.

Cordialement.