IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Hibernate Java Discussion :

Hibernate et Batch


Sujet :

Hibernate Java

Vue hybride

Message précédent Message précédent   Message suivant Message suivant
  1. #1
    Membre confirmé
    Homme Profil pro
    Développeur Java
    Inscrit en
    Octobre 2009
    Messages
    169
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Développeur Java

    Informations forums :
    Inscription : Octobre 2009
    Messages : 169
    Par défaut Hibernate et Batch
    Bonjour,

    Je travaille actuellement sur l'insertion de 300000 utilisateurs à partir d'un fichier xml. Je lie le fichier xml avec l'API SAX et réalise trois inserts par utilisateur dans trois tables différentes.
    Cependant, je fais face à un souci, tous les n enregistrements le batch semble se bloquer sur une synchronisation entre Hibernate et la base de données oracle.

    Voici les paramétres du fichier hiberante.cfg.xml :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
     
    <property name="hibernate.connection.url">jdbc:oracle:thin:@localhost:1521:XXXX</property>
    <property name="hibernate.connection.username">XXXX</property>
    <property name="hibernate.connection.password">XXXX</property>
    <property name="hibernate.connection.driver_class">oracle.jdbc.driver.OracleDriver</property>
    <property name="hibernate.dialect">org.hibernate.dialect.OracleDialect</property>
    <property name="default_schema">XXXX</property>
    <property name="hibernate.transaction.factory_class">org.hibernate.transaction.JDBCTransactionFactory</property>
    <property name="hibernate.show_sql">false</property>
    <property name="hibernate.connection.autocommit">false</property>
    <property name="hibernate.current_session_context_class">thread</property>
    <property name="hibernate.query.factory_class">org.hibernate.hql.classic.ClassicQueryTranslatorFactory</property>
    <property name="hibernate.cache.provider_class">org.hibernate.cache.HashtableCacheProvider</property>
     
    <property name="hibernate.connection.provider_class">org.hibernate.connection.C3P0ConnectionProvider</property>
    <property name="c3p0.minPoolSize">2</property>
    <property name="c3p0.maxPoolSize">50</property>
    <property name="c3p0.timeout">300</property>
    <property name="c3p0.max_statement">5</property>
    <property name="c3p0.idle_test_period">150</property>
    <property name="c3p0.max_size">100</property>
     
    <mapping resource="xxx/xxx/xxx.hbm.xml" />
    ....
    et voici le code appelé pour chaque insert :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
     
    Session oSession = null;
    Transaction tx = null;
    try {
    oSession = HibernateUtil.getSessionFactory().openSession() ;
    tx = oSession.beginTransaction();
    oSession.save(object);
    oSession.flush() ;
    oSession.clear() ;
    tx.commit();
    } catch (Exception ex) {
    if (tx != null) {
    tx.rollback();
    }
    Throws ex ;
    } finally {
    if (oSession != null) {
    oSession.flush();
    oSession.close();
    }
    }
    Merci par avance de votre aide.
    @+,

    HadanMarv

  2. #2
    Membre Expert
    Profil pro
    Inscrit en
    Août 2006
    Messages
    3 276
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Août 2006
    Messages : 3 276
    Par défaut
    Tu veux dire que les insertions ne sont plus effectuées au bout d'un certain temps ?
    Il y a un chapitre dans la doc sur les batchs, l'as-tu lu ?

  3. #3
    Membre confirmé
    Homme Profil pro
    Développeur Java
    Inscrit en
    Octobre 2009
    Messages
    169
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Développeur Java

    Informations forums :
    Inscription : Octobre 2009
    Messages : 169
    Par défaut
    oui tout à fait le programme semble se mettre en pause.
    comme si hibernate faisait un flush. Soit c'est du côté de Hibernate, soit c'est la base de données qui supporte pas mais çà m'étonne plus j'avoue.

    Oui, j'ai le bouquin sous les yeux page 219 de Hibernate3.0 de Anthony Patricio.
    ce que j'ai mis comme code dans mes inserts est exactement ce qu'il a mis sur la gestion des batchs.
    J'ai lu d'autres postes relatifs au perf mais rien de concluant pour le moment.
    Avez-vous des idées / solutions ?
    Avez-vous besoin d'autres éléments ?

    D'avance merci.
    HadanMarv

  4. #4
    Membre Expert
    Profil pro
    Inscrit en
    Août 2006
    Messages
    3 276
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Août 2006
    Messages : 3 276
    Par défaut
    http://docs.jboss.org/hibernate/stab..._single/#batch

    Essaie quand même ce qui est expliqué dans la doc.
    En gros, utiliser les batchs JDBC en faisant un flush tous les n éléments, n étant égal à la taille du batch.

  5. #5
    Membre confirmé
    Homme Profil pro
    Développeur Java
    Inscrit en
    Octobre 2009
    Messages
    169
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Développeur Java

    Informations forums :
    Inscription : Octobre 2009
    Messages : 169
    Par défaut
    comme tu peux le noter dans le bout de code fourni, je fais une récup de la session hiverntate (openSession), puis begin transaction, un session.save de mon objet, un flush et un clear. ce qui est encore plus précis que le niveau mentionné dans la doc d'hibernate. il me reste à voir si le paramétre dans le fichier de config (Batch_size) à une importance dans le cas présent, je modifie et te tiens au courant de suite.

  6. #6
    Membre Expert
    Profil pro
    Inscrit en
    Août 2006
    Messages
    3 276
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Août 2006
    Messages : 3 276
    Par défaut
    Oui j'ai vu ton code.
    Mais si tu fais un flush et un commit pour chaque objet, tu n'utiliseras pas les batchs JDBC et cela devrait donc être plus lent.
    A toi de voir en faisant des tests ce que cela donne.

Discussions similaires

  1. Réponses: 20
    Dernier message: 13/10/2009, 17h31
  2. Réponses: 0
    Dernier message: 24/10/2008, 14h35
  3. Réponses: 1
    Dernier message: 10/10/2008, 10h39
  4. Réponses: 2
    Dernier message: 03/10/2008, 16h09
  5. [Hibernate][error] Could not execute JDBC batch update
    Par CPI_en_mousse dans le forum Hibernate
    Réponses: 7
    Dernier message: 01/06/2007, 09h41

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo