IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

SQL*Loader Oracle Discussion :

Optimisation de chargement et commit


Sujet :

SQL*Loader Oracle

  1. #1
    Membre du Club
    Inscrit en
    mai 2006
    Messages
    115
    Détails du profil
    Informations forums :
    Inscription : mai 2006
    Messages : 115
    Points : 59
    Points
    59
    Par défaut Optimisation de chargement et commit
    Bonjour à tous,

    J'ai un pb avec SQLLoader. En effet, dans mon fichier .ctl j'ai défini un point de commit toutes les 10.000 lignes mais lors du traitement du fichier à intégrer, le commit se fait toutes les lignes. Du coup, le traitement est très long car je travaille sur un fichier de 26 millions de lignes.

    Auriez-vous une solution à me proposer pour améliorer les performances de mon utilisation de SQL Loader ?

    La table Oracle de stockage ne contient ni clé primaire ni index activé...

    Voici le fichier .ctl
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
     
    OPTIONS (DIRECT=FALSE, ROWS=10000, ERRORS=100000)
    LOAD DATA INFILE 'DonneesMCO\rsa12.txt' 
         BADFILE     'FichiersLOG\BAD_rsa12_epur.bad'
         DISCARDFILE 'FichiersLOG\DSC_rsa12_epur.dsc'
    TRUNCATE
    INTO TABLE GDS_FRANCE2012."ZZZ_MCORSA_EPUR"
    FIELDS terminated BY ";" OPTIONALLY ENCLOSED BY '"'
    trailing nullcols		  
    (RSA_FINESS   position(01:09)       CHAR(9), 
     RSA_NUMRSA   position(13:22)       INTEGER EXTERNAL(10), 
     RSA_NBRUM    position(51:52)       INTEGER EXTERNAL(2),
     RSA_NBAUTPGV position(109:109)     INTEGER EXTERNAL(1),
     RSA_NBRDTH   position(131:131)     INTEGER EXTERNAL(1), 
     RSA_NBDAS    position(215:218)     INTEGER EXTERNAL(4), 
     RSA_NBACT    position(219:223)     INTEGER EXTERNAL(5),
     RSA_EPUR     position(224:2266100) CHAR)                 -- CLOB : taille actuelle maximale possible : 2.265.876
    Voici un extrait de mon fichier .txt à plat
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
     
    12078725421900020000011160021328Z04Z0001128Z04Z10101058   18 0520128  0030121000000     0599990000000099990 00000000000000000000000                      00000000000000000000000000000                  01Z491  N189  000000000Z491  N189  000000000030120787254  000000                 
    1207872542190002000002116002           1190Z00Z02401079   2xx042012xx 002999999           99990000000099990 00000000000000000000000                      00000000000000000000000000000                  01RSSABS      000000000RSSABS         000000029                                  
    1207872542190002000003116002           1190Z00Z02401063   1xx032012xx 003099999           99990000000099990 00000000000000000000000                      00000000000000000000000000000                  01RSSABS      000000000RSSABS         000000030                                  
    1207872542190002000004116001           1190Z00Z02401049   1xx012012xx 003099999           99990000000099990 0000000000000000      0                      00000000000000000000000000000                  01RSSABS      000000000RSSABS         000000030                                  
    12078725421900020000051160011328Z04Z0001128Z04Z10101080   28 0220128  0028124900000     14 D110000000099990 0000000000000000      0                      00000000000000000000000000000                  01Z491  N189  000000000Z491  N189  00000000002812078725423000000                 
    1207872542190002000006116002           1190Z00Z02401054   1xx042012xx 002999999           99990000000099990 00000000000000000000000                      00000000000000000000000000000                  01RSSABS      000000000RSSABS         000000029                                  
    12078725421900020000071160021328Z04Z0001128Z04Z10101060   18 0420128  0029121000000     12 D110000000099990 00000000000000000000000                      00000000000000000000000000000                  01Z491  N189  000000000Z491  N189  00000000002912078725423000000                 
    1207872542190002000008116001           1190Z00Z02401068   1xx012012xx 003099999           99990000000099990 0000000000000000      0                      00000000000000000000000000000                  01RSSABS      000000000RSSABS         000000030                                  
    1207872542190002000009116002           1190Z00Z02401078   1xx042012xx 002999999           99990000000099990 00000000000000000000000                      00000000000000000000000000000                  01RSSABS      000000000RSSABS         000000029                                  
    1207872542190002000010116001           1190Z00Z02401054   1xx012012xx 003099999           99990000000099990 0000000000000000      0                      00000000000000000000000000000                  01RSSABS      000000000RSSABS         000000030                                  
    12078725421900020000111160021328Z04Z0001128Z04Z10101075   18 0520128  0030121000000     13 D110000000099990 00000000000000000000000                      00000000000000000000000000000                  01Z491  N189  000000000Z491  N189  00000000003012078725423000000                 
    12078725421900020000121160021328Z04Z0001128Z04Z10101067   18 0520128  0030121000000     14 D110000000099990 00000000000000000000000                      00000000000000000000000000000                  01Z491  N189  000000000Z491  N189  00000000003012078725423000000                 
    1207872542190002000013116001           1190Z00Z02401076   1xx012012xx 003099999           99990000000099990 0000000000000000      0                      00000000000000000000000000000                  01RSSABS      000000000RSSABS         000000030                                  
    1207872542190002000014116001           1190Z00Z02401083   1xx012012xx 003099999           99990000000099990 0000000000000000      0                      00000000000000000000000000000                  01RSSABS      000000000RSSABS         000000030                                  
    12078725421900020000151160021328Z04Z0001128Z04Z10101075   18 0420128  0029121000000     13 D110000000099990 00000000000000000000000                      00000000000000000000000000000                  01Z491  N189  000000000Z491  N189  00000000002912078725423000000                 
    1207872542190002000016116002           1190Z00Z02401083   2xx042012xx 000799999           99990000000099990 00000000000000000000000                      00000000000000000000000000000                  01RSSABS      000000000RSSABS         000000007                                  
    12078725421900020000171160021328Z04Z0001128Z04Z10101068   18 0420128  0029121000000     1399990000000099990 00000000000000000000000                      00000000000000000000000000000                  01Z491  N189  000000000Z491  N189  000000000029120787254  000000                 
    1207872542190002000018116002           1190Z00Z02401083   1xx042012xx 002999999           99990000000099990 00000000000000000000000                      00000000000000000000000000000                  01RSSABS      000000000RSSABS         000000029                                  
    1207872542190002000019116002           1190Z00Z02401089   2xx032012xx 003099999           99990000000099990 00000000000000000000000                      00000000000000000000000000000                  01RSSABS      000000000RSSABS         000000030
    Merci beaucoup à tous pour votre aide.
    MarieO

  2. #2
    Membre du Club
    Inscrit en
    mai 2006
    Messages
    115
    Détails du profil
    Informations forums :
    Inscription : mai 2006
    Messages : 115
    Points : 59
    Points
    59
    Par défaut complément
    Voici le fichier résultat de l'import avec SQL Loader

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    53
    54
    55
    56
    SQL*Loader: Release 10.2.0.1.0 - Production on Mar. Sept. 24 13:53:54 2013
    
    Copyright (c) 1982, 2005, Oracle.  All rights reserved.
    
    Fichier de contrôle :   Import2012_AtihMCO_07RSA.ctl
    Fichier de données :      DonneesMCO\rsa12.txt
      Fichier BAD :     FichiersLOG\BAD_rsa12.bad
      Fichier DISCARD : FichiersLOG\DSC_rsa12.dsc
     (Allouer tous les rebuts)
    
    Nombre à charger : ALL
    Nombre à sauter: 0
    Erreurs permises: 100000
    Tableau de liens :     10000 lignes, maximum de 256000 octets
    Continuation :    aucune spécification
    Chemin utilisé:      Classique
    
    Table GDS_FRANCE2012."Z_MCORSA_EPUR", chargé à partir de chaque enregistrement physique.
    Option d'insertion en vigueur pour cette table : TRUNCATE
    option TRAILING NULLCOLS effective
    
       Nom de colonne               Position   Long.  Séparat. Encadrem. Type de données
    ------------------------------ ---------- ----- ---- ---- ---------------------
    RSA_FINESS                            1:9     9   ;  O(") CHARACTER            
    RSA_NUMRSA                          13:22    10   ;  O(") CHARACTER            
    RSA_NBRUM                           51:52     2   ;  O(") CHARACTER            
    RSA_NBAUTPGV                      109:109     1   ;  O(") CHARACTER            
    RSA_NBRDTH                        131:131     1   ;  O(") CHARACTER            
    RSA_NBDAS                         215:218     4   ;  O(") CHARACTER            
    RSA_NBACT                         219:223     5   ;  O(") CHARACTER            
    RSA_EPUR                       224:2266100 *****   ;  O(") CHARACTER            
        La longueur de champ maximale est 2265877
    
    la valeur utilisée pour le paramètre ROWS est passée de 10000 à 1
    
    Table GDS_FRANCE2012."Z_MCORSA_EPUR" :
      Chargement réussi de 26658005 Lignes.
      428 Lignes chargement impossible dû à des erreurs de données.
      0 Lignes chargement impossible car échec de toutes les clauses WHEN.
      0 Lignes chargement impossible car tous les champs étaient non renseignés.
    
    
    Espace affecté au tableau de liens :                2266344 octets(1 lignes)
    Octets de tampon de lecture : 1048576
    
    Nombre total d'enregistrements logiques ignorés :          0
    Nombre total d'enregistrements logiques lus :      26658433
    Nombre total d'enregistrements logiques rejetés :       428
    Nombre total d'enregistrements logiques mis au rebut :        0
    
    Le début de l'exécution a été effectué sur Mar. Sept. 24 13:53:54 2013
    La fin de l'exécution a été effectuée sur Mer. Sept. 25 17:41:07 2013
    
    Temps écoulé (ELAPSED) :     27:47:13.87
    Temps processeur (CPU) :    03:19:18.89

Discussions similaires

  1. Optimiser le chargement d'une application
    Par stdebordeau dans le forum Windows Forms
    Réponses: 10
    Dernier message: 15/05/2009, 17h44
  2. optimisation du chargement des pages html
    Par unix27 dans le forum Débuter
    Réponses: 4
    Dernier message: 07/03/2009, 18h28
  3. Réponses: 11
    Dernier message: 21/10/2008, 15h02
  4. [XNA] Question d'optimisation de chargement
    Par Myth_Titans dans le forum XNA/Monogame
    Réponses: 4
    Dernier message: 02/02/2007, 19h11
  5. Pour optimiser le chargement ?
    Par Kerod dans le forum Balisage (X)HTML et validation W3C
    Réponses: 6
    Dernier message: 06/04/2005, 22h50

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo