Optimisation de chargement et commit

**marieo** · 26/09/2013, 11h16

Bonjour à tous,

J'ai un pb avec SQLLoader. En effet, dans mon fichier .ctl j'ai défini un point de commit toutes les 10.000 lignes mais lors du traitement du fichier à intégrer, le commit se fait toutes les lignes. Du coup, le traitement est très long car je travaille sur un fichier de 26 millions de lignes.

Auriez-vous une solution à me proposer pour améliorer les performances de mon utilisation de SQL Loader ?

La table Oracle de stockage ne contient ni clé primaire ni index activé...

Voici le fichier .ctl

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
 
OPTIONS (DIRECT=FALSE, ROWS=10000, ERRORS=100000)
LOAD DATA INFILE 'DonneesMCO\rsa12.txt' 
     BADFILE     'FichiersLOG\BAD_rsa12_epur.bad'
     DISCARDFILE 'FichiersLOG\DSC_rsa12_epur.dsc'
TRUNCATE
INTO TABLE GDS_FRANCE2012."ZZZ_MCORSA_EPUR"
FIELDS terminated BY ";" OPTIONALLY ENCLOSED BY '"'
trailing nullcols		  
(RSA_FINESS   position(01:09)       CHAR(9), 
 RSA_NUMRSA   position(13:22)       INTEGER EXTERNAL(10), 
 RSA_NBRUM    position(51:52)       INTEGER EXTERNAL(2),
 RSA_NBAUTPGV position(109:109)     INTEGER EXTERNAL(1),
 RSA_NBRDTH   position(131:131)     INTEGER EXTERNAL(1), 
 RSA_NBDAS    position(215:218)     INTEGER EXTERNAL(4), 
 RSA_NBACT    position(219:223)     INTEGER EXTERNAL(5),
 RSA_EPUR     position(224:2266100) CHAR)                 -- CLOB : taille actuelle maximale possible : 2.265.876

Voici un extrait de mon fichier .txt à plat

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
 
12078725421900020000011160021328Z04Z0001128Z04Z10101058   18 0520128  0030121000000     0599990000000099990 00000000000000000000000                      00000000000000000000000000000                  01Z491  N189  000000000Z491  N189  000000000030120787254  000000                 
1207872542190002000002116002           1190Z00Z02401079   2xx042012xx 002999999           99990000000099990 00000000000000000000000                      00000000000000000000000000000                  01RSSABS      000000000RSSABS         000000029                                  
1207872542190002000003116002           1190Z00Z02401063   1xx032012xx 003099999           99990000000099990 00000000000000000000000                      00000000000000000000000000000                  01RSSABS      000000000RSSABS         000000030                                  
1207872542190002000004116001           1190Z00Z02401049   1xx012012xx 003099999           99990000000099990 0000000000000000      0                      00000000000000000000000000000                  01RSSABS      000000000RSSABS         000000030                                  
12078725421900020000051160011328Z04Z0001128Z04Z10101080   28 0220128  0028124900000     14 D110000000099990 0000000000000000      0                      00000000000000000000000000000                  01Z491  N189  000000000Z491  N189  00000000002812078725423000000                 
1207872542190002000006116002           1190Z00Z02401054   1xx042012xx 002999999           99990000000099990 00000000000000000000000                      00000000000000000000000000000                  01RSSABS      000000000RSSABS         000000029                                  
12078725421900020000071160021328Z04Z0001128Z04Z10101060   18 0420128  0029121000000     12 D110000000099990 00000000000000000000000                      00000000000000000000000000000                  01Z491  N189  000000000Z491  N189  00000000002912078725423000000                 
1207872542190002000008116001           1190Z00Z02401068   1xx012012xx 003099999           99990000000099990 0000000000000000      0                      00000000000000000000000000000                  01RSSABS      000000000RSSABS         000000030                                  
1207872542190002000009116002           1190Z00Z02401078   1xx042012xx 002999999           99990000000099990 00000000000000000000000                      00000000000000000000000000000                  01RSSABS      000000000RSSABS         000000029                                  
1207872542190002000010116001           1190Z00Z02401054   1xx012012xx 003099999           99990000000099990 0000000000000000      0                      00000000000000000000000000000                  01RSSABS      000000000RSSABS         000000030                                  
12078725421900020000111160021328Z04Z0001128Z04Z10101075   18 0520128  0030121000000     13 D110000000099990 00000000000000000000000                      00000000000000000000000000000                  01Z491  N189  000000000Z491  N189  00000000003012078725423000000                 
12078725421900020000121160021328Z04Z0001128Z04Z10101067   18 0520128  0030121000000     14 D110000000099990 00000000000000000000000                      00000000000000000000000000000                  01Z491  N189  000000000Z491  N189  00000000003012078725423000000                 
1207872542190002000013116001           1190Z00Z02401076   1xx012012xx 003099999           99990000000099990 0000000000000000      0                      00000000000000000000000000000                  01RSSABS      000000000RSSABS         000000030                                  
1207872542190002000014116001           1190Z00Z02401083   1xx012012xx 003099999           99990000000099990 0000000000000000      0                      00000000000000000000000000000                  01RSSABS      000000000RSSABS         000000030                                  
12078725421900020000151160021328Z04Z0001128Z04Z10101075   18 0420128  0029121000000     13 D110000000099990 00000000000000000000000                      00000000000000000000000000000                  01Z491  N189  000000000Z491  N189  00000000002912078725423000000                 
1207872542190002000016116002           1190Z00Z02401083   2xx042012xx 000799999           99990000000099990 00000000000000000000000                      00000000000000000000000000000                  01RSSABS      000000000RSSABS         000000007                                  
12078725421900020000171160021328Z04Z0001128Z04Z10101068   18 0420128  0029121000000     1399990000000099990 00000000000000000000000                      00000000000000000000000000000                  01Z491  N189  000000000Z491  N189  000000000029120787254  000000                 
1207872542190002000018116002           1190Z00Z02401083   1xx042012xx 002999999           99990000000099990 00000000000000000000000                      00000000000000000000000000000                  01RSSABS      000000000RSSABS         000000029                                  
1207872542190002000019116002           1190Z00Z02401089   2xx032012xx 003099999           99990000000099990 00000000000000000000000                      00000000000000000000000000000                  01RSSABS      000000000RSSABS         000000030

Merci beaucoup à tous pour votre aide.
MarieO

**marieo** · 26/09/2013, 11h23

Voici le fichier résultat de l'import avec SQL Loader

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
SQL*Loader: Release 10.2.0.1.0 - Production on Mar. Sept. 24 13:53:54 2013

Copyright (c) 1982, 2005, Oracle.  All rights reserved.

Fichier de contrôle :   Import2012_AtihMCO_07RSA.ctl
Fichier de données :      DonneesMCO\rsa12.txt
  Fichier BAD :     FichiersLOG\BAD_rsa12.bad
  Fichier DISCARD : FichiersLOG\DSC_rsa12.dsc
 (Allouer tous les rebuts)

Nombre à charger : ALL
Nombre à sauter: 0
Erreurs permises: 100000
Tableau de liens :     10000 lignes, maximum de 256000 octets
Continuation :    aucune spécification
Chemin utilisé:      Classique

Table GDS_FRANCE2012."Z_MCORSA_EPUR", chargé à partir de chaque enregistrement physique.
Option d'insertion en vigueur pour cette table : TRUNCATE
option TRAILING NULLCOLS effective

   Nom de colonne               Position   Long.  Séparat. Encadrem. Type de données
------------------------------ ---------- ----- ---- ---- ---------------------
RSA_FINESS                            1:9     9   ;  O(") CHARACTER            
RSA_NUMRSA                          13:22    10   ;  O(") CHARACTER            
RSA_NBRUM                           51:52     2   ;  O(") CHARACTER            
RSA_NBAUTPGV                      109:109     1   ;  O(") CHARACTER            
RSA_NBRDTH                        131:131     1   ;  O(") CHARACTER            
RSA_NBDAS                         215:218     4   ;  O(") CHARACTER            
RSA_NBACT                         219:223     5   ;  O(") CHARACTER            
RSA_EPUR                       224:2266100 *****   ;  O(") CHARACTER            
    La longueur de champ maximale est 2265877

la valeur utilisée pour le paramètre ROWS est passée de 10000 à 1

Table GDS_FRANCE2012."Z_MCORSA_EPUR" :
  Chargement réussi de 26658005 Lignes.
  428 Lignes chargement impossible dû à des erreurs de données.
  0 Lignes chargement impossible car échec de toutes les clauses WHEN.
  0 Lignes chargement impossible car tous les champs étaient non renseignés.


Espace affecté au tableau de liens :                2266344 octets(1 lignes)
Octets de tampon de lecture : 1048576

Nombre total d'enregistrements logiques ignorés :          0
Nombre total d'enregistrements logiques lus :      26658433
Nombre total d'enregistrements logiques rejetés :       428
Nombre total d'enregistrements logiques mis au rebut :        0

Le début de l'exécution a été effectué sur Mar. Sept. 24 13:53:54 2013
La fin de l'exécution a été effectuée sur Mer. Sept. 25 17:41:07 2013

Temps écoulé (ELAPSED) :     27:47:13.87
Temps processeur (CPU) :    03:19:18.89

Optimisation de chargement et commit

SQL*Loader Oracle

Discussions similaires

Partager

Partager