IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

JDBC Java Discussion :

Insérer des données de plusieurs Go vers un blob Oracle 10g depuis une servlet


Sujet :

JDBC Java

  1. #1
    FCA
    FCA est déconnecté
    Candidat au Club
    Profil pro
    Inscrit en
    Juillet 2003
    Messages
    2
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Juillet 2003
    Messages : 2
    Points : 2
    Points
    2
    Par défaut Insérer des données de plusieurs Go vers un blob Oracle 10g depuis une servlet
    Bonjour,

    Pour les besoins d'un projet existant, je dois pouvoir (depuis une servlet) insérer de gros volumes de données (1 à 5 Go) dans un champ BLOB Oracle 10g. Le projet existant utilise Hibernate 3.2.4 pour effectuer le mapping O/R (à l'aide d'un champ "blob" Hibernate).

    Le code que j'utilise pour effectuer cette insertion est très standard, puisque :

    - je récupère l'outputstream du blob
    - je récupère l'inputstream d'un fichier local contenant les données à charger
    - via un byte[] buffer, je fais le transfert du fichier vers le blob

    (tout cela via les API Hibernate et JDBC, càd sans utiliser directement les classes du driver Oracle ojdbc14.jar)

    Problème : les temps d'insertion sont énormes, comparé à ce que j'obtiens en faisant la manip équivalente depuis sqlplus ou SQLDeveloper (pourtant codé en Java). Dans mon code, je fais afficher une ligne de debug à chaque Mo transféré. Disons que jusqu'à 700 Mo, j'ai un débit correct (1 à 2 Mo/s) et à partir de 700-750 Mo je vois que chaque Mo supplémentaire nécessite 30 secondes à une minute pour être transféré.

    J'aimerais donc savoir s'il existe de "bonnes pratiques" pour l'insertion de tels blobs énormes. En fait je ne sais même pas si les blobs sont conseillés pour ces volumes de données, mais j'ai vraiment du mal à trouver de la littérature sur le sujet.

    Si quelqu'un peut m'aider, ou a des infos sur la question, je suis intéressé.

    Merci d'avance !
    François

  2. #2
    Expert éminent sénior
    Avatar de tchize_
    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Avril 2007
    Messages
    25 481
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 44
    Localisation : Belgique

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Avril 2007
    Messages : 25 481
    Points : 48 806
    Points
    48 806
    Par défaut
    le mieux que je puisse conseiller c'est de voir avec ton DBA. C'est probablement la taille des données dans la transaction qui ralentit tout. Il y a fort à parier que quand tu fais l'opération en SQL plus / sql developper tu n'a pas de transaction.

    Ce qui pourrait aussi jouer: l'espace prévu pour les blob (voir encore avec le DBA) qui est trop petit -> agrandissement

    Enfin, si sqlplus / sql developper tournent sur le même serveur, il y a des chance que ce soit la couche réseau qui pose problème (alors que sqlplus dit peut être à oracle "il est là le fichier" plutot que de le transférer)

    Essaie aussi de voir si t'as de meilleures perfs pour une insertion en utilisant directement le driver oracle (avec et sans begin/commit).

  3. #3
    Expert éminent sénior
    Avatar de sinok
    Profil pro
    Inscrit en
    Août 2004
    Messages
    8 765
    Détails du profil
    Informations personnelles :
    Âge : 43
    Localisation : France, Paris (Île de France)

    Informations forums :
    Inscription : Août 2004
    Messages : 8 765
    Points : 12 977
    Points
    12 977
    Par défaut
    De même, pour des blobs de cette taille, il est en général assez intéressant de les mettre dans un tablespace séparé, avec une taille de chunk la plus grande possible.

    Tu peux tout à fait avoir dans une table des colonnes qui sont placées dans des tablespaces séparés, par exemple:
    Code SQL : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
     
    create table MYTABLE
    (  
      MYKEY        VARCHAR2(255 CHAR) not null,
      MYCOL        INTEGER,
      MYBLOB    BLOB
    )
    tablespace MYAPP_DATA
    LOB (MYBLOB)
        STORE AS MYTABLE_LOB_SEG (
            TABLESPACE MYAPP_HUGE_LOBS
            CACHE        
        );
    Hey, this is mine. That's mine. All this is mine. I'm claiming all this as mine. Except that bit. I don't want that bit. But all the rest of this is mine. Hey, this has been a really good day. I've eaten five times, I've slept six times, and I've made a lot of things mine. Tomorrow, I'm gonna see if I can't have sex with something.

Discussions similaires

  1. [XL-2003] Récupérer des données de plusieurs feuilles vers une seule
    Par ikobana dans le forum Macros et VBA Excel
    Réponses: 4
    Dernier message: 10/12/2014, 22h15
  2. [WD-2010] Insérer des données dans plusieurs tableaux
    Par informacyde dans le forum Word
    Réponses: 7
    Dernier message: 14/07/2014, 19h51
  3. Réponses: 4
    Dernier message: 19/08/2011, 15h44
  4. Insérer des données sur plusieurs lignes dans une seule en SQL
    Par nathantahiti dans le forum Développement
    Réponses: 1
    Dernier message: 03/08/2011, 11h47
  5. export des données de plusieurs formulaires vers word
    Par adelsunwind dans le forum IHM
    Réponses: 2
    Dernier message: 11/02/2009, 20h44

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo