Discussion :

[lachik]

Bonjour à tous,

Je doit faire un delete (environ 2 millions de lignes) sur une table d'environs 40 millions de lignes.

J'utilise la syntaxe suivante :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
DELETE FROM maTableWHERE maColonne IN (ids);

Je voudrais savoir s'il n'est pas possible d'optimiser celle-ci...

Avez_vous des idées ?

Merci !

[Waldar]

Ça dépend, la suppression a-t-elle des incidences sur l'intégrité de la base ou bien est-ce que vous pouvez faire par lots (par exemple, une table de logs ou d'événement peut être traitée par lot).

Votre table possède-t-elle des index et des contraintes d'intégrités ?
Comment identifiez-vous les ids à supprimer ?

[lachik]

Merci @Waldar pour ta réponse.

Oui, ma table contient contraintes et index.

Les Ids à supprimer sont identifiés via une méthode java puis envoyer à la requête...DELETE...

[mnitu]

"maColonne" est indexée ?

[lachik]

Salut @mnitu !

Oui, "maColonne" est indexée !

[mnitu]

Ca prends combien de temps actuellement ? Et quel est la fenêtre de temps acceptable pour cette suppression ?
D'autre part il n'y a pas de miracle en soit: la présence des contrainte impose leur vérification, la présence des indexes implique leur gestion, la présence des éventuels triggers implique leur exécution, en plus de la génération de redo et undo.
Travaillez par lots ne réduit pas le temps total d'exécution.
Regardez aussi le plan d'exécution pour analyser comment l'accès aux données est fait.
Peut être envisager un traitement en parallèle si la machine est assez puissante.

[lachik]

Merci pour ta réponse !

Je te retournes ta question (si tu me le permet ) : quel est la fenêtre de temps acceptable pour une suppression de 2 Millions de lignes ?

[mnitu]

Si pendant deux jours un batch peut tourner et supprimer les 2 millions de lignes alors c'est une fenêtre de temps acceptable si cela ne pose pas des autres problèmes.
Si derrière l'application il y a un utilisateur qui supprime 2 millions de ligne et il attend la fin de la suppression et cette suppression prends 2 minute il est très probablement inacceptable pour le client. Très probablement il faut repenser cette action dans l'application.
Si le batch qui tourne a une fenêtre de 20 minute maximum pour supprimer les 2 millions de ligne alors le but de l'optimisation est que ça passe en moins de 20 minutes.
C'est votre application qui vous dit ce qu'il est acceptable ou pas.

[skuatamad]

Les Ids à supprimer sont identifiés via une méthode java puis envoyer à la requête...DELETE...

Je pense que la lenteur peut venir de là, en fait il y a 2000 DELETE, n'est-ce pas ?
Il pourrait être préférable de charger ces id dans une table (temporaire ou pas) puis supprimer en une commande.

[lachik]

Bonjour @skuatamad, merci de t'intéresser à mon problème

En fait, dans mon cas de test "ids" fait référence à un seul id qui lui-même identifie les 2 millions de lignes à supprimer.

[skuatamad]

Oui, ma table contient contraintes et index.

Y a-t-il des contraintes on delete cascade qui référence cette table ?
Si oui supprimez les données filles avant.

[lachik]

Nop, pas de delete cascade...

[lachik]

Une question me vient...
Comment se comporte Oracle lorsque plusieurs utilisateurs font des delete une une même table ? Il y a t-il une notion de file ?

[lachik]

une petite idée ?

[lachik]

ok, j'ai compris grace aux locks de table Oracle.

Merci quand même

[mnitu]

Si les deux sessions suppriment des enregistrements différentes de la même table en même temps chaque session fait sont travail. Quand les deux sessions suppriment (une partie) des enregistrements communes une des sessions doit attendre la fin de la transaction initié par l'autre session qui a déjà modifié l'enregistrement.

[lachik]

Oui, c'est exactement ca !
Merci