Discussion :

[erox44]

Hello,

dans l'une de mes appli, j'effectue une boucle avec un count(*) sur chaque table d'un schéma pour récupérer le nombre de lignes.

Ce count est de cette forme :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

SELECT COUNT(*) FROM T_TOTO where trunc(DATE_T) between to_date('01/08/2013','dd/mm/yyyy') and to_date('31/08/2013','dd/mm/yyyy')

L'un de tables par exemple, contient 200.000.000 de lignes, de plus, il n'y a pas de clé primaire, mais un index unique sur quelques colonnes.

Du coup, la requete ci-dessus, prend plus de 5mn à s'effectuer.

Y aurait-il un moyen d'améliorer ça, sans toucher à la structure de la base/table ?

[pacmann]

Salut,

Il y a un index sur date_t ?

[erox44]

Oui, la plupart du temps il y en a un.

[pacmann]

La plupart du temps ?

Bref, sur les tables où il y a des indexes, est-ce qu'ils sont bien utilisés ?
(A vérifier avec un explain plan ou trace)

Sinon de manière générale il est préférable de ne pas appliquer de fonction sur la colonne indexée. Ici, tu pourrais réécrire :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
SELECT COUNT(*) FROM T_TOTO WHERE 
DATE_T > to_date('01/08/2013','dd/mm/yyyy') 
AND DATE_T  < to_date('31/08/2013','dd/mm/yyyy') + 1

[erox44]

Oui c'est sûr que deja le TRUNC double facilement le temps d'exec, du coup je vais voir pour supprimer deja ça.

Le fait de mettre un between plutôt qu'un > < ne doit pas influencer tant que ça le temps d'exec si?

[Waldar]

Le fait de mettre un between plutôt qu'un > < ne doit pas influencer tant que ça le temps d'exec si?

Non, le between est réécrit par le parser d'Oracle en >= et <=.

Pour être précis, dans la requête de pacmann il faut remplacer le > par un >=.

Le trunc par contre empêche l'utilisation de l'index sur la colonne date_t.
Regardez les plans d'exécution des deux requêtes et comparez-les.

[pacmann]

+1 à Waldar sur la borne inf.

Et donc, j'ai remplacé le between parce que la borne sup est inclusive dans le between, alors qu'en enlevant le trunc, il faut qu'elle soit exclusive pour que ce soit propre.

[erox44]

Ok merc

[mnitu]

Hello,

dans l'une de mes appli, j'effectue une boucle avec un count(*) sur chaque table d'un schéma pour récupérer le nombre de lignes.
...

Ca sert à quoi ? Plus précisément pourquoi voulez-vous récupérer le nombre des lignes de chaque table ? Pour quoi faire avec ?

[erox44]

En fait,
le but de mon appli est de générer des script sql d'inserts pour exporter des données d'une base/table vers une autre.

Sauf que si ma table contient un grand nombre de données ( c'est là que je fais le count) , je découpe mes scripts sql en scripts de 20.000 inserts max.


Donc en gros dans mon appli, je boucle sur mes tables, pour chacune je fais le count, si > 20.000 , je crée des sous-fichiers, sinon un seul fichier.

[al1_24]

Et pourquoi ne pas passer par des fichiers plats et SQL*Loader ?

[erox44]

ce sera une éventuelle upgrade mais pour l'instant je ne peux pas utiliser ça :/

[mnitu]

L’optimisation signifie éliminer le travail inutile. Dans votre cas le travail inutile consiste dans le comptage de lignes de tables. En plus de ne pas être correcte (sauf le cas d’être le seul utilisateur connecté à la base) votre algorithme est inefficace.

Pour l'optimiser l’idée sera de ramener en même temps que les données l’information vous indiquant qu’un « sous-fichier » (?!) est nécessaire ou pas. Pour cela divers méthodes sont envisageables.

[mnitu]

Et pourquoi ne pas passer par des fichiers plats et SQL*Loader ?

SQL*Loader n'est pas un outil d'export des données.

[al1_24]

Et pourquoi ne pas passer par des fichiers plats et SQL*Loader ?

SQL*Loader n'est pas un outil d'export des données.

Ma proposition répondait à ceci :

le but de mon appli est de générer des script sql d'inserts pour exporter des données d'une base/table vers une autre.

[Olivier Dufour]

Bonsoir,


Vous pouvez utiliser rownum pour limiter le nombre de lectures aux 20001 premières lignes trouvées :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
SELECT COUNT(*) FROM T_TOTO WHERE 
DATE_T > to_date('01/08/2013','dd/mm/yyyy') 
AND DATE_T  < to_date('31/08/2013','dd/mm/yyyy') + 1
AND ROWNUM <= 20001

Cdlt,
OD

[erox44]

Bon du coup, je pense que la seule opti possible dans mon cas sera d'éviter les fonctions trop gourmandes ( trunc ) .

Olivier, je ne peux pas mettre de filtre rownum car il me faut la somme totale des lignes sur ma table ( avec eventuellement un filtre date) pour ensuite savoir combien de fichiers de 20.000 lignes je dois créer.




Merci.

[pacmann]

Tu peux aussi omettre les count, faire les extractions complètes, puis faire le split en script shell par exemple...