IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Oracle Discussion :

Optimisation / modification d'architecture


Sujet :

Oracle

  1. #1
    Membre confirmé
    Homme Profil pro
    Développeur
    Inscrit en
    Juin 2009
    Messages
    171
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Développeur
    Secteur : Santé

    Informations forums :
    Inscription : Juin 2009
    Messages : 171
    Par défaut Optimisation / modification d'architecture
    Bonjour à tous,

    Je sollicite votre aide pour une petite question d'optimisation

    Pour schématiser, j'ai actuellement 8 traitements qui vont chercher des informations dans les mêmes tables et les recréer sous la forme de work (work dont la structure est identique) :
    - mon traitement T1 crée mon work_1 avec les lignes dont il a besoin : 40.000.000 de records ;
    - mon traitement T2 crée mon work_2 avec les lignes dont il a besoin : 2.000.000 de records ;
    - mon traitement T3 crée mon work_3 avec les lignes dont il a besoin : 40.000.000 de records ;
    - mon traitement T4 crée mon work_4 avec les lignes dont il a besoin : 9.000.000 de records ;
    ...

    Les 40.000.000 de lignes représente mon univers, il contient toutes les données utilisées par les différents traitements.

    Bref, tout ça pour dire que les traitements vont être de plus en plus nombreux et que ça m'embête d'aller reconstruire des tables pour refaire la même chose.

    Je cherche une solution qui me permette de créer une table référence, et d'aller rechercher les infos dont j'ai besoin dans cette table en limitant les pertes de perfomance :
    - les vues matérialisées ne changent pas tellement mon problème ;
    - les vues non matérialisées semblent affecter un peu trop fortement mes perfs ;

    Est-ce que vous auriez des idées de d'autres possibilités que je pourrais explorer ?

    C'est pour du traitement batch massif.

    Merci d'avance !

  2. #2
    Expert confirmé Avatar de mnitu
    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Octobre 2007
    Messages
    5 611
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Marne (Champagne Ardenne)

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Octobre 2007
    Messages : 5 611
    Par défaut
    Je pense que vous devez ajouter en peu plus d'explications:
    vos traitementz T1 et T3 génèrent les mêmes données ?
    c'est quoi ce que vous appelez un work ?
    la structure du work est identique à quoi ?
    les données de la table référence changent dans quelles conditions ?
    ...

  3. #3
    Modérateur
    Avatar de escartefigue
    Homme Profil pro
    bourreau
    Inscrit en
    Mars 2010
    Messages
    10 599
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Loir et Cher (Centre)

    Informations professionnelles :
    Activité : bourreau
    Secteur : Finance

    Informations forums :
    Inscription : Mars 2010
    Messages : 10 599
    Billets dans le blog
    10
    Par défaut
    Vous avez donc 40 millions de lignes dans votre source de données, que vous répartissez dans 8 tables de travail dont la structure est identique et que vous appelez "work", certaines lignes étant communes à plusieurs work c'est bien ca ?
    Si vous voulez vous simplifier la vie, vous pouvez déjà ne créer qu'un seul "work" et le patitionner en 8. Quand vous aurez de nouvellez extractions, vous ajouterez des partitions

  4. #4
    Expert confirmé
    Avatar de pachot
    Homme Profil pro
    Developer Advocate YugabyteDB
    Inscrit en
    Novembre 2007
    Messages
    1 822
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 54
    Localisation : Suisse

    Informations professionnelles :
    Activité : Developer Advocate YugabyteDB
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Novembre 2007
    Messages : 1 822
    Billets dans le blog
    1
    Par défaut
    Bonjour,
    L'idéal pour des tables de structure identiques, c'est le partitionnement. Une colonne en plus pour stocker le numéro de 'work' et partitionner par list (ou peut-être range interval 1) dessus.
    Cordialement,
    Franck.

  5. #5
    Membre confirmé
    Homme Profil pro
    Développeur
    Inscrit en
    Juin 2009
    Messages
    171
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Développeur
    Secteur : Santé

    Informations forums :
    Inscription : Juin 2009
    Messages : 171
    Par défaut
    Bonjour et merci pour vos réponses !

    Un peu plus d'explications :
    Disons que j'ai une table partenaire.

    Cette table contient tous les partenaires depuis la création de mon entreprise, certains sont toujours des clients actifs, d'autres n'ont plus rien depuis 1999, etc...
    J'appelle cette table all_part pour l'exemple.

    Mon traitement T1 va effectuer certains contrôle et va avoir besoin pour ces contrôles de tous les partenaires de la table all_part ;
    Mon traitement T2 va effectuer d'autres controle, uniquement sur les partenaires encore actif (soit 20% des enregistrements de ma table all_part) ;
    Mon traitement T3 va faire encore d'autres contrôles et aura besoin uniquement de 2% de ma table all_part.

    Actuellement, chaque traitement recrée une table all_part (qui a la même structure) avec uniquement les partenaires qu'il a besoin.

    Le but serait d'avoir une table all_part unique, mais sans avoir de grosses pertes de performance sur mon traitement T3.

    Sachant que le nombre d'enregistrement de ma table all_part étant de 40.000.000 de records et que mon traitement a besoin de 10.000 lignes dans la réalité, j'aimerais trouver un moyen de limiter les pertes de perf et je ne sais pas si c'est possible.

    Le problème du partitionnement, c'est qu'il faut essayer d'avoir des partitions plus ou moins équilibrées non ?
    Dans mon cas je risque d'avoir une partition avec 10.000 lignes, un autre avec 2.000.000 et une troisième avec 38.000.000 de lignes.

    Mais merci pour vos pistes !

Discussions similaires

  1. Optimisation de l'architecture de réseau de neurones/GA/Métaheuristique
    Par demoisellex dans le forum Méthodes prédictives
    Réponses: 3
    Dernier message: 23/04/2014, 16h59
  2. Réponses: 4
    Dernier message: 24/12/2010, 12h31
  3. [Optimisation] Comment optimiser mon architecture ?
    Par buzzkaido dans le forum C++
    Réponses: 6
    Dernier message: 09/05/2007, 13h59
  4. Modification / Optimisation requete
    Par Emmanuel Lecoester dans le forum SQL
    Réponses: 25
    Dernier message: 31/03/2007, 01h15
  5. Réponses: 4
    Dernier message: 21/04/2006, 21h55

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo