Discussion :

[Bouga74]

Bonjour à tous,

Je sollicite votre aide pour une petite question d'optimisation

Pour schématiser, j'ai actuellement 8 traitements qui vont chercher des informations dans les mêmes tables et les recréer sous la forme de work (work dont la structure est identique) :
- mon traitement T1 crée mon work_1 avec les lignes dont il a besoin : 40.000.000 de records ;
- mon traitement T2 crée mon work_2 avec les lignes dont il a besoin : 2.000.000 de records ;
- mon traitement T3 crée mon work_3 avec les lignes dont il a besoin : 40.000.000 de records ;
- mon traitement T4 crée mon work_4 avec les lignes dont il a besoin : 9.000.000 de records ;
...

Les 40.000.000 de lignes représente mon univers, il contient toutes les données utilisées par les différents traitements.

Bref, tout ça pour dire que les traitements vont être de plus en plus nombreux et que ça m'embête d'aller reconstruire des tables pour refaire la même chose.

Je cherche une solution qui me permette de créer une table référence, et d'aller rechercher les infos dont j'ai besoin dans cette table en limitant les pertes de perfomance :
- les vues matérialisées ne changent pas tellement mon problème ;
- les vues non matérialisées semblent affecter un peu trop fortement mes perfs ;

Est-ce que vous auriez des idées de d'autres possibilités que je pourrais explorer ?

C'est pour du traitement batch massif.

Merci d'avance !

[mnitu]

Je pense que vous devez ajouter en peu plus d'explications:
vos traitementz T1 et T3 génèrent les mêmes données ?
c'est quoi ce que vous appelez un work ?
la structure du work est identique à quoi ?
les données de la table référence changent dans quelles conditions ?
...

[escartefigue]

Vous avez donc 40 millions de lignes dans votre source de données, que vous répartissez dans 8 tables de travail dont la structure est identique et que vous appelez "work", certaines lignes étant communes à plusieurs work c'est bien ca ?
Si vous voulez vous simplifier la vie, vous pouvez déjà ne créer qu'un seul "work" et le patitionner en 8. Quand vous aurez de nouvellez extractions, vous ajouterez des partitions

[pachot]

Bonjour,
L'idéal pour des tables de structure identiques, c'est le partitionnement. Une colonne en plus pour stocker le numéro de 'work' et partitionner par list (ou peut-être range interval 1) dessus.
Cordialement,
Franck.

[Bouga74]

Bonjour et merci pour vos réponses !

Un peu plus d'explications :
Disons que j'ai une table partenaire.

Cette table contient tous les partenaires depuis la création de mon entreprise, certains sont toujours des clients actifs, d'autres n'ont plus rien depuis 1999, etc...
J'appelle cette table all_part pour l'exemple.

Mon traitement T1 va effectuer certains contrôle et va avoir besoin pour ces contrôles de tous les partenaires de la table all_part ;
Mon traitement T2 va effectuer d'autres controle, uniquement sur les partenaires encore actif (soit 20% des enregistrements de ma table all_part) ;
Mon traitement T3 va faire encore d'autres contrôles et aura besoin uniquement de 2% de ma table all_part.

Actuellement, chaque traitement recrée une table all_part (qui a la même structure) avec uniquement les partenaires qu'il a besoin.

Le but serait d'avoir une table all_part unique, mais sans avoir de grosses pertes de performance sur mon traitement T3.

Sachant que le nombre d'enregistrement de ma table all_part étant de 40.000.000 de records et que mon traitement a besoin de 10.000 lignes dans la réalité, j'aimerais trouver un moyen de limiter les pertes de perf et je ne sais pas si c'est possible.

Le problème du partitionnement, c'est qu'il faut essayer d'avoir des partitions plus ou moins équilibrées non ?
Dans mon cas je risque d'avoir une partition avec 10.000 lignes, un autre avec 2.000.000 et une troisième avec 38.000.000 de lignes.

Mais merci pour vos pistes !