Insérer des données de plusieurs Go vers un blob Oracle 10g depuis une servlet

Version imprimable

10/10/2010, 12h19
FCA

Insérer des données de plusieurs Go vers un blob Oracle 10g depuis une servlet

Bonjour,

Pour les besoins d'un projet existant, je dois pouvoir (depuis une servlet) insérer de gros volumes de données (1 à 5 Go) dans un champ BLOB Oracle 10g. Le projet existant utilise Hibernate 3.2.4 pour effectuer le mapping O/R (à l'aide d'un champ "blob" Hibernate).

Le code que j'utilise pour effectuer cette insertion est très standard, puisque :

- je récupère l'outputstream du blob
- je récupère l'inputstream d'un fichier local contenant les données à charger
- via un byte[] buffer, je fais le transfert du fichier vers le blob

(tout cela via les API Hibernate et JDBC, càd sans utiliser directement les classes du driver Oracle ojdbc14.jar)

Problème : les temps d'insertion sont énormes, comparé à ce que j'obtiens en faisant la manip équivalente depuis sqlplus ou SQLDeveloper (pourtant codé en Java). Dans mon code, je fais afficher une ligne de debug à chaque Mo transféré. Disons que jusqu'à 700 Mo, j'ai un débit correct (1 à 2 Mo/s) et à partir de 700-750 Mo je vois que chaque Mo supplémentaire nécessite 30 secondes à une minute pour être transféré.

J'aimerais donc savoir s'il existe de "bonnes pratiques" pour l'insertion de tels blobs énormes. En fait je ne sais même pas si les blobs sont conseillés pour ces volumes de données, mais j'ai vraiment du mal à trouver de la littérature sur le sujet.

Si quelqu'un peut m'aider, ou a des infos sur la question, je suis intéressé.

Merci d'avance !
10/10/2010, 13h35
tchize_

le mieux que je puisse conseiller c'est de voir avec ton DBA. C'est probablement la taille des données dans la transaction qui ralentit tout. Il y a fort à parier que quand tu fais l'opération en SQL plus / sql developper tu n'a pas de transaction.

Ce qui pourrait aussi jouer: l'espace prévu pour les blob (voir encore avec le DBA) qui est trop petit -> agrandissement

Enfin, si sqlplus / sql developper tournent sur le même serveur, il y a des chance que ce soit la couche réseau qui pose problème (alors que sqlplus dit peut être à oracle "il est là le fichier" plutot que de le transférer)

Essaie aussi de voir si t'as de meilleures perfs pour une insertion en utilisant directement le driver oracle (avec et sans begin/commit).

De même, pour des blobs de cette taille, il est en général assez intéressant de les mettre dans un tablespace séparé, avec une taille de chunk la plus grande possible.

Tu peux tout à fait avoir dans une table des colonnes qui sont placées dans des tablespaces séparés, par exemple:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 create table MYTABLE ( MYKEY VARCHAR2(255 CHAR) not null, MYCOL INTEGER, MYBLOB BLOB ) tablespace MYAPP_DATA LOB (MYBLOB) STORE AS MYTABLE_LOB_SEG ( TABLESPACE MYAPP_HUGE_LOBS CACHE );