Performance de SQL LOADER

[AbouZaid]

Salut à tous,

Toujours dans le cadre de l'optimisation de mon programme, je voudrais savoir s'il l'on peut optimiser le chargement (SQL*LOADER) d'un fichier plat dans une table ?

Mon fichier peut faire de 200 000 à 3 000 000 de lignes à charger.

Code :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
 
LOAD DATA
INFILE '/DEVL/INPUT/ME_CIBLE.txt'
INTO TABLE XXCIH.interface
APPEND
(
	LIGNE_ME 			POSITION(1:385)  CHAR
,	DATE_CREATED 			SYSDATE 
, 	CURRENCY_CODE			POSITION(33:35)  CHAR
, 	REF_PIECE			POSITION(25:29)	 CHAR
, 	DESC_LIGNE			"ltrim(rtrim(substr(:LIGNE_ME,89,32))) || ' ' || ltrim(rtrim(substr(:LIGNE_ME,121,32)))"
, 	ATTR1_ME_1			POSITION(1:150)	CHAR
, 	ATTR2_ME_2			POSITION(151:300)	CHAR
, 	ATTR3_ME_3			POSITION(301:385)	CHAR
, 	ATTR4_NUM_COMPTE		POSITION(1:16)		CHAR
, 	ATTR6_CODE_TRAN_OPE		"ltrim(rtrim(substr(:LIGNE_ME,153,4))) || '/' || ltrim(rtrim(substr(:LIGNE_ME,157,4)))"	 
, 	ATTR7_AG_MAT			"ltrim(rtrim(substr(:LIGNE_ME,181,3))) || '/' || ltrim(rtrim(substr(:LIGNE_ME,184,4)))"
, 	ATTR8_DENOT2			POSITION(198:213)		CHAR
, 	ATTR10_NUM_PIECE		POSITION(190:197)		CHAR
, 	REGLE				"decode(nvl(ltrim(rtrim(substr(:LIGNE_ME,215,1))),'0'),'1',ltrim(rtrim(substr(:LIGNE_ME,310,5))),NULL)"
, 	JOURNAL				"decode(nvl(ltrim(rtrim(substr(:LIGNE_ME,215,1))),'0'),'1',ltrim(rtrim(substr(:LIGNE_ME,290,10))),'CIH_AUTRE_0')"
, 	ORIGINE				"decode(nvl(ltrim(rtrim(substr(:LIGNE_ME,215,1))),'0'),'1',ltrim(rtrim(substr(:LIGNE_ME,300,10))),'CIH_AUTRE_0')"
			)

Merci à vous.

[McM]

Si tu peux passer par une table externe, je pense que c'est plus rapide sur des gros volumes.

[AbouZaid]

Bonjour,

Je n'ai pas compris ton idée...

[skuatamad]

External Tables Concepts

Et un exemple d'utilisation dans la section Pipelined Functions de l'article où peut être que le process global peut t'intéresser

[AbouZaid]

Merci.

J'ai lu quelques commentaire sur le sujet, et apparemment, il vaut mieux utiliser les tables Externes si l'on veut simplement faire des SELECT sur les données, alors que dans mon cas, je les charges dans une table et s'en suit une multitude d'UPDATE et DELETE sur la dite table.

A votre avis, SQL*LOADER parait le choix le plus judicieux?

[skuatamad]

Non je ne suis pas d'accord avec ta conclusion, dans l'article proposé la fonction pipelined permet de développer la partie transformation avant de loader les données validées.

Par contre si tu conserves sql*loader il ne faut pas loader les données dans la table finale, il faut créer une table de travail à partir de laquelle tu joueras ton process, ça permettra d'utiliser sql*loader en mode truncate + direct pour accélérer le load.

[AbouZaid]

Oui mais je fais des transformations SQL dans mon SQL*LOADER pour aller plus vite car avant je les faisais sur ma table.

Si j'utilise l'accès direct, j'ai vu que l'on ne peut utiliser d'instructions SQL et donc, je suis obligé de le faire sur ma table, chose qui me prendra plus de temps.

Vous ne croyez pas?