Conseils sur calculs de stats

Bonjour à tous,

j'ai un projet à mettre en place : le calcul d'innombrables statistiques sur une base de 4 000 000 d'entrées.

Les stats sont par exemple le prix moyen, de ces 4 000 000 d'entrées, ensuite le prix par catégorie, etc....

Je pensais créer une collection avec Bulk collect, en récupérant uniquement les informations que j'utiliserais pour le calcul et faire un foreach tout en incrémentant des variables pour faire un calcul final.

Comme ça ça me parait lourd, de faire un foreach 4 000 000 de fois...

Avez-vous un truc plus optimisé ?

Merci de votre aide

Fonctions analytiques

C'est la base, mais ça me fait peur de faire ça sur une table aussi grosse.

Si tu peux faire le calcul par SQL il y a peu des chances que ton algorithme en PL/SQL sera plus performant.
A la limite peut être que tu pourrais éviter de recalculer certaines choses en utilisant des vues matérialisées ou en stockant certaines sommes pré calculés dans tes données.

J'ai au moins une centaine de stats à sortir, et y'a des trucs tordus :(

Citation:

---

Envoyé par mnitu

Si tu peux faire le calcul par SQL il y a peu des chances que ton algorithme en PL/SQL sera plus performant.

---

+1

+1 aussi pour les vues matérialisées. Ca peut te permettre me mettre en forme tes données pour faire tes requêtes après. De plus, la clause GROUP dans Oracle est bien plus étoffée que le "classique" GROUP BY. Je te conseille de regarder du côté des GROUPING SET.

Par contre, je ne connaîs pas Fonctions analytiques.

Salut !

+1 aussi.

Concernant les fonctions analytiques :
http://lalystar.developpez.com/fonctionsAnalytiques/

En gros, ça ajoute une paire de bras au concept de GROUP BY : tu peux appliquer des fonctions "unitairement" sur tes lignes alors qu'elles concernent les groupements.

Tu aurais voulu afficher tes fonctions d'agrégat sur chaque ligne, ordonner et indicer tes lignes par groupe selon certains critères (, ...) ?
SQL 2003 l'a fait !

Je me laissé emporte par une autre fil de discussion. En fait j’aurais voulu recommander d’utiliser les fonctions de group SQL : AVG, CORR, COVAR_POP, STDDEV, etc. En fonction des besoins il on pourrait employer les variantes analytiques.

Merci pour toutes ces réponses
Je vais devoir creuser les stats anale-ytique :)

ça n'a pas l'air commode à comprendre, mais ça à l'air bien puissant.

Citation:

---

Envoyé par shadeoner

Bonjour à tous,

j'ai un projet à mettre en place : le calcul d'innombrables statistiques sur une base de 4 000 000 d'entrées.

Les stats sont par exemple le prix moyen, de ces 4 000 000 d'entrées, ensuite le prix par catégorie, etc....

---

Une approche est d'implémenter le query rewrite et les vues matérialisées. Ainsi tu crées ta vue matérialisées avec tes group by, count(*), count(keys), etc, ensuites lorsque tu calcules tes statistiques, Oracle utiliseras automatiquement les mviews et le gain de perf sera monstrueux 8-)

Je ne connais pas le query rewrite je vais chercher tout ça :)

Merci

En utilisant les fonctions analytiques c'est plutôt rapide. J'ai quelques soucis, je vais faire un autre message

tu peux commencer ici
http://download.oracle.com/docs/cd/B...8313/part5.htm

Super je te remercie, je vais lire ça attentivement.