Overflow avec dbms_lob.loadclobfromfile

**Bouga74** · 14/01/2013, 12h57

Bonjour à tous,

J'utilise la méthode dbms_lob.loadclobfromfile pour uploader des fichiers XML dans ma base de données. Jusqu'ici, tout allait bien, mais depuis peu le fichier semble trop volumineux et me ressort l'erreur suivante :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
ORA-01426: numeric overflow
ORA-06512: at "MONSCHEMA.INSDB", line 98
ORA-06512: at line 1

Comment confirmer cela ? Est-il possible de faire quelque chose ou faut-il chercher un nouveau moyen de faire ?

Voici l'appel de la fonction dans ma procédure stockée :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
dbms_lob.loadclobfromfile(
      L$Blob,       -- CLOB de destination
      L$Bfile,      -- Pointeur de fichier en entrée
      LN$Len,       -- Nombre d'octets à lire
      LN$src_off,   -- Position source de départ
      LN$dst_off,
      LN$Bfile_Csid,
      LN$Lang,
      LN$Warn
    );

Merci d'avance pour toute remarque !

**mnitu** · 14/01/2013, 14h22

Difficile (pour ne pas dire impossible) à debugger ça avec seulement les informations founis. Commencer par nous montrer l'instruction se trouvant à la ligne 98; c'est le loadclobfromfile ou autre ?

**Bouga74** · 14/01/2013, 14h38

Voici ma procédure stockée :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
create or replace
PROCEDURE INSDB
(
  PC$Filepath IN VARCHAR2
) 
IS
LN$Curseur NUMBER := 1;
LN$CurrentPos NUMBER := 1;
LN$LastPos    NUMBER := 1;
 
LN$Id  NUMBER := 0;
LN$BCode  VARCHAR2(255);
LN$Date  VARCHAR2(255);
LN$Source VARCHAR2(255);
LN$IsGoodText VARCHAR2(255);
LN$IsGood  NUMBER := 0;
LN$Bfile_Csid VARCHAR2(255) := NLS_CHARSET_ID('UTF8');
LN$Lang  NUMBER := DBMS_LOB.DEFAULT_LANG_CTX;
LN$Warn NUMBER := 0;
 
L$Blob CLOB;
L$Bfile BFILE ;
LN$Len NUMBER := dbms_lob.lobmaxsize;
LN$src_off PLS_INTEGER := 1 ;
LN$dst_off PLS_INTEGER := 1 ;
 
BEGIN
 
  IF PC$Filepath IS NOT NULL THEN
 
    FOR LN$Curseur IN 1..4
    LOOP
 
      LN$CurrentPos := INSTR(PC$Filepath, '_', LN$LastPos) - LN$LastPos;
 
      CASE LN$Curseur
        WHEN 1 THEN LN$BCode     := SUBSTR(PC$Filepath, LN$LastPos, LN$CurrentPos) ;
        WHEN 2 THEN LN$Date       := SUBSTR(PC$Filepath, LN$LastPos, LN$CurrentPos) ;
        WHEN 3 THEN LN$Source     := SUBSTR(PC$Filepath, LN$LastPos, LN$CurrentPos) ;
        WHEN 4 THEN LN$IsGoodText := SUBSTR(PC$Filepath, LN$LastPos, LN$CurrentPos) ;
      ELSE
        EXIT;
      END CASE;
 
      LN$LastPos := LN$LastPos + LN$CurrentPos + 1;
 
    END LOOP;
 
    CASE UPPER(LN$IsGoodText)
      WHEN 'D' THEN LN$IsGood := 0;
      WHEN 'G' THEN LN$IsGood := 1;
    END CASE;
 
    INSERT INTO MONSCHEMA.uf (I, B, ID, IG, S, D, IP) VALUES (NULL, LN$BCode, LN$Date, LN$IsGood, LN$Source, empty_clob(), 0);
 
    SELECT upseq.currval INTO LN$Id FROM dual;
 
    SELECT datas INTO L$Blob FROM MONSCHEMA.T1 WHERE id = LN$Id FOR  UPDATE;
 
    L$Bfile := BFILENAME( 'DDIR', PC$Filepath );
 
    dbms_lob.fileopen(L$Bfile, dbms_lob.file_readonly);
 
    dbms_lob.loadclobfromfile(
      L$Blob,       -- CLOB de destination
      L$Bfile,      -- Pointeur de fichier en entrée
      LN$Len,       -- Nombre d'octets à lire
      LN$src_off,   -- Position source de départ
      LN$dst_off,
      LN$Bfile_Csid,
      LN$Lang,
      LN$Warn
    );
 
    dbms_lob.fileclose(L$Bfile);
 
    COMMIT;
 
  END IF;
 
  EXCEPTION WHEN OTHERS THEN 
  ROLLBACK;
  RAISE;
 
END;

La ligne retournée comme étant en erreur est celle contenant : EXCEPTION WHEN OTHERS THEN

**Waldar** · 14/01/2013, 14h43

Votre bloc d'exception en l'état ne sert à rien si ce n'est à perdre la vraie ligne d'erreur.

Supprimez-le et re-testez !

**Bouga74** · 14/01/2013, 15h10

Effectivement, merci pour l'info !

Du coup, après ré-exécution la ligne en erreur est la 63, elle correspond bien à la fonction dbms_lob.loadclobfromfile.

**mnitu** · 14/01/2013, 15h19

Ca veut dire que vous appelez mal la procédure. Je regarderais

**Bouga74** · 14/01/2013, 15h25

Jusqu'ici tout fonctionnait parfaitement bien.

Cependant le volume de données que nous traitons a augmenté récemment (+20% à +30%) et les fichiers XML commencent à être particulièrement volumineux, environ 2.5Go.

**mnitu** · 14/01/2013, 15h31

Mettez dbms_lob.getlength(v_bfile) à la place de LN$Len.

**Bouga74** · 14/01/2013, 15h43

Merci pour l'info !

J'ai tenté de mettre dbms_lob.getlength(L$Bfile) à la place de LN$Len mais le résultat reste le même : numeric overflow.

**mnitu** · 14/01/2013, 16h07

LobMaxSize est OK!
Affichez la taille (dbms_lob.getlength(v_bfile)) juste avant d'appeler loadclobfromfile ainsi que LN$src_off et LN$dst_off.
Re mettez le bloc d'exception et affichez LN$src_off et LN$dst_off quand il y en exception.

**Waldar** · 14/01/2013, 16h10

D'après la doc, vous aviez raison d'utiliser DBMSLOB.LOBMAXSIZE pour charger le fichier en entier, mais je ne sais pas si vous pouvez le référencer tel que vous l'avez écrit. Replacez directement la formule au niveau de la fonction.

Par contre je ne vois pas d'initialisation du LOB.

Que donne ce bout de code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
    DBMS_LOB.CREATETEMPORARY(L$Blob, TRUE);
    L$Bfile := BFILENAME( 'DDIR', PC$Filepath );
 
    dbms_lob.fileopen(L$Bfile, dbms_lob.file_readonly);
 
    dbms_lob.loadclobfromfile(
      L$Blob,              -- CLOB de destination
      L$Bfile,             -- Pointeur de fichier en entrée
      dbms_lob.lobmaxsize, -- Nombre d'octets à lire
      LN$src_off,          -- Position source de départ
      LN$dst_off,
      LN$Bfile_Csid,
      LN$Lang,
      LN$Warn
    );
 
    dbms_lob.fileclose(L$Bfile);
    DBMS_LOB.FREETEMPORARY(L$Blob);

**Bouga74** · 14/01/2013, 16h33

Merci pour votre aide !

Pour ce qui est des logs :

Avant la procédure :
dbms_lob.getlength(v_bfile) = 2 416 816 468
LN$src_off = 1
LN$dst_off = 1

Idem lorsque l'exception apparait.

Pour ce qui est du bout de code, je l'ai testé à la place de ce que j'avais et le résultat reste le même pour le moment, numeric overflow.

**Waldar** · 14/01/2013, 16h43

Au passage, quelle est votre version d'Oracle ?

**mnitu** · 14/01/2013, 16h47

Initialisez LN$Len avec une valeur inférieure à 2 000 000 et ré exécutez en passant la variable avec cette valeur à la procédure. Est-ce que ça passe ?

**Bouga74** · 14/01/2013, 16h57

Je suis en version 11.2.0.2.0.

J'ai tenté d'initialiser la variable LN$Len à 1500000 et le script est passé super rapidement... Que dois-je en déduire ? Que je dépasse la limite autorisé ?
Pourtant il me semble avoir vu que jusqu'à 4Go ca devrait passer...

**mnitu** · 14/01/2013, 16h59

Pourriez-vous aussi remplacer les déclarations des variables en PLS_Integer (LN$src_off et LN$dst_off) par Integer ou Number(38) et ré exécuter votre procédure d'origine (sans le bloc exception bien sûr) ?

**Bouga74** · 14/01/2013, 17h13

J'ai remplacé par du NUMBER, le fichier est passé... Merci beaucoup !
Par contre je ne comprend vraiment pas pourquoi ! Est-ce possible d'avoir une explication ? Je tente de tout lancé ce soir et je confirme demain que tout est ok ! Merci !!

**mnitu** · 14/01/2013, 17h19

Si vous regardez dans le package sys.standard:

pls_integer est binary_integer
binary integer est integer range '-2147483647'..2147483647

Et comme la longeur du fichier est cette fois ci 2 416 816 468 > 2 147 483 647...

Par contre integer est number(38,0) et dans la procédure en question les arguments sont bien en integer!