Discussion :

[Bouga74]

Bonjour à tous,

J'ai une table volumineuse (20 millions d'enregistrements) contenant l'ensemble des datas que mon entreprise souhaite contrôler à l'aide de règles.

Pour chaque règle, je vais partir de cette table et contrôler chaque enregistrement. Je souhaite n'avoir que le minimum d'informations dans cette table (Id et quelques filtres), et je vais donc être obligé de faire des jointures sur les différentes tables qui vont me permettre de récupérer les données complémentaires. Je créerais ces différentes tables au fur et à mesure.

Ma question : Comment optimiser mes tables au maximum afin d'avoir des temps de traitements raisonnables ?

Merci d'avance pour vos conseils !

[ojo77]

C'est un peu vague comme question. Sans plus d'infos je ne saurais que vous renvoyer vers la 3ème forme normale.

Ensuite s'il existe des affinités entre vos tables et des regroupements simples, vous pouvez envisager du partitionnement afin de réduire le nombre de données sur lesquelles vous travaillez simultanément.

[Pomalaix]

20 millions de lignes, ce n'est pas forcément la mer à boire : selon le nombre et le type des colonnes, ça peut loger en moins de 2 Go.

Comme le suggère Ojo, on commence par la modélisation, les choix physiques arrivent plus tard (partitionnement, compression, index bitmap, etc).
Ces choix physiques vont découler du type de manipulation qu'on sera amené à faire sur les données.

C'est pour ça qu'il faut savoir comment "vivent" vos données.
Si elles sont en lecture seule (et éventuellement alimentées par lots une fois par nuit), ce n'est pas la même chose que si vous faites du transactionnel sur ces données.

N'oubliez pas de préciser systématiquement votre version d'Oracle, car les possibilités ne sont pas les mêmes d'une version à l'autre.
Il sera aussi utile de savoir si vous êtes en édition Entreprise ou pas, car nombre de fonctionnalités en dépendent, voire constituent des options payantes qui se greffent sur l'édition Entreprise.

[Bouga74]

Merci beaucoup pour vos réponses, effectivement il va falloir dans un premier temps bien effectuer la modélisation.

Il s'agit d'un projet de data governance.
Toutes les semaines tourneront un certain nombre de règles (actuellement une 50aines). Toutes les semaines les tables seront droppées et recréées, c'est vraiment des tables propres à mon service.

En fait le soucis n'est pas tellement le volume en lui même, mais surtout la complexité de la récupération des erreurs en fonction des règles. Une règle qui n'a qu'une jointure à faire depuis la table à 20Millions de lignes, ok pas de soucis.
Une règle qui va nécessité d'aller faire des jointures sur 6 ou 7 tables différentes, elle va nous faire exploser le temps de traitement.
C'est pour cela que je cherche le maximum d'informations avant de commencer à mettre en place tout cela.

Edit : la version d'oracle est 11.1

[mnitu]

...Une règle qui n'a qu'une jointure à faire depuis la table à 20Millions de lignes, ok pas de soucis.
Une règle qui va nécessité d'aller faire des jointures sur 6 ou 7 tables différentes, elle va nous faire exploser le temps de traitement.
...

Les bases des données existent pour faire des jointures !

[Bouga74]

... merci ...

Ma question concernait l'optimisation au maximum de ces requêtes et de mes tables et non la possibilité de le faire ou pas.