IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Oracle Discussion :

Transferer 500 millions de lignes


Sujet :

Oracle

  1. #1
    Futur Membre du Club
    Inscrit en
    Juin 2004
    Messages
    5
    Détails du profil
    Informations forums :
    Inscription : Juin 2004
    Messages : 5
    Points : 5
    Points
    5
    Par défaut Transferer 500 millions de lignes
    Bonjour,

    Je dois recopier toutes les semaines 500 000 000 d'enregistrements d'une base de production vers un DataWareHouse.

    Un insert as select via DB link permet globalement de transferer 50 000 000 de lignes à l'heure.

    Savez vous si je peux desactiver les rollback qui pénalisent cette opération et qui pourrait me faire gagner du temps ?

    Merci de vos réponses.
    Philippe.

  2. #2
    Membre habitué
    Profil pro
    Inscrit en
    Avril 2006
    Messages
    133
    Détails du profil
    Informations personnelles :
    Localisation : France, Bouches du Rhône (Provence Alpes Côte d'Azur)

    Informations forums :
    Inscription : Avril 2006
    Messages : 133
    Points : 165
    Points
    165
    Par défaut
    Avez vous essayer l'insert avec des hints ???

    ==> Mode direct Path (utilisé pour bypasser les redos) :
    insert /*+ APPEND */

    ==> ou le hint PARALLEL utile pour déclencher plusieurs sous process pour une même transaction :
    (souvent utilisé dans les environnements multipro)

    Exemple :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
     
    insert /*+parallel(table_dest,2) into table_dest 
    select * from table_source@base_source;
    Ne pouvez vous pas réaliser l'opération via les outils :
    exp/imp ou datapump ??

  3. #3
    Expert éminent sénior
    Avatar de orafrance
    Profil pro
    Inscrit en
    Janvier 2004
    Messages
    15 967
    Détails du profil
    Informations personnelles :
    Âge : 46
    Localisation : France

    Informations forums :
    Inscription : Janvier 2004
    Messages : 15 967
    Points : 19 073
    Points
    19 073
    Par défaut
    non, impossible de se passer des rollbacks... la table cible doit être en NOLOGGING également.

    Et sinon, ça peut être plus malin de faire des copies au fil de l'eau non ?

  4. #4
    Membre expert

    Profil pro
    Inscrit en
    Février 2006
    Messages
    3 437
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Février 2006
    Messages : 3 437
    Points : 3 597
    Points
    3 597
    Par défaut
    Une piste peut consister à utiliser les tablespaces transportables avec exp/imp sous certaines conditions (version d'Oracle, compatibilité des plates-formes, ...). Si elles sont remplies, importer la table peut revenir grosso modo à effectuer la copie physiques des fichiers du tablespace.

  5. #5
    Futur Membre du Club
    Inscrit en
    Juin 2004
    Messages
    5
    Détails du profil
    Informations forums :
    Inscription : Juin 2004
    Messages : 5
    Points : 5
    Points
    5
    Par défaut
    Merci à tous pour vos réponses.

    Je viens de faire le transfert via DB_LINK, ca prend 3 heures.
    J'avais essayé avec l'export/import mais c'est beaucoup plus long (5 heures pour l'import uniquement).

    Concernant le fil de l'eau, c'est pas évident car il y a des gros batch (lancement de production en pleine journée) que je ne souhaite pas alourdir et s'agissant de la base source, on peut difficilement y toucher.

    Reste les 4 indexes sur cette table en cours de création qui prennent 5 heures auquels je ne couperait pas. En gros 8 heures de traitement Pour une table de 500 Millions d'enregistrement.

    Je vais par contre jeter un oeil sur la copie fichier de TBS, ca me parrait le plus interressant la table étant à l'identique sur le Datawarehouse, transfert sur un reseau à 1Go entre 2 machine, OS et Oracle identique.

    Merci encore.
    Philippe.

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. 2 millions de lignes et ça rame :(
    Par CaviarNAS dans le forum MS SQL Server
    Réponses: 8
    Dernier message: 11/12/2007, 10h51
  2. Réponses: 1
    Dernier message: 16/09/2007, 14h14
  3. Réponses: 1
    Dernier message: 08/03/2007, 10h47
  4. 100 million de lignes, 34 Go : partition ou autre ?
    Par Greg07 dans le forum Administration
    Réponses: 9
    Dernier message: 24/10/2006, 18h02
  5. [SELECT sur 16 millions de lignes] délai très grand
    Par localhost dans le forum Requêtes
    Réponses: 6
    Dernier message: 22/11/2004, 17h04

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo