Hibernate et Batch

Version imprimable

Hibernate et Batch

Bonjour,

Je travaille actuellement sur l'insertion de 300000 utilisateurs à partir d'un fichier xml. Je lie le fichier xml avec l'API SAX et réalise trois inserts par utilisateur dans trois tables différentes.
Cependant, je fais face à un souci, tous les n enregistrements le batch semble se bloquer sur une synchronisation entre Hibernate et la base de données oracle.

Voici les paramétres du fichier hiberante.cfg.xml :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
 
<property name="hibernate.connection.url">jdbc:oracle:thin:@localhost:1521:XXXX</property>
<property name="hibernate.connection.username">XXXX</property>
<property name="hibernate.connection.password">XXXX</property>
<property name="hibernate.connection.driver_class">oracle.jdbc.driver.OracleDriver</property>
<property name="hibernate.dialect">org.hibernate.dialect.OracleDialect</property>
<property name="default_schema">XXXX</property>
<property name="hibernate.transaction.factory_class">org.hibernate.transaction.JDBCTransactionFactory</property>
<property name="hibernate.show_sql">false</property>
<property name="hibernate.connection.autocommit">false</property>
<property name="hibernate.current_session_context_class">thread</property>
<property name="hibernate.query.factory_class">org.hibernate.hql.classic.ClassicQueryTranslatorFactory</property>
<property name="hibernate.cache.provider_class">org.hibernate.cache.HashtableCacheProvider</property>
 
<property name="hibernate.connection.provider_class">org.hibernate.connection.C3P0ConnectionProvider</property>
<property name="c3p0.minPoolSize">2</property>
<property name="c3p0.maxPoolSize">50</property>
<property name="c3p0.timeout">300</property>
<property name="c3p0.max_statement">5</property>
<property name="c3p0.idle_test_period">150</property>
<property name="c3p0.max_size">100</property>
 
<mapping resource="xxx/xxx/xxx.hbm.xml" />
....

et voici le code appelé pour chaque insert :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
 
Session oSession = null;
Transaction tx = null;
try {
oSession = HibernateUtil.getSessionFactory().openSession() ;
tx = oSession.beginTransaction();
oSession.save(object);
oSession.flush() ;
oSession.clear() ;
tx.commit();
} catch (Exception ex) {
if (tx != null) {
tx.rollback();
}
Throws ex ;
} finally {
if (oSession != null) {
oSession.flush();
oSession.close();
}
}

Merci par avance de votre aide.
@+,

HadanMarv

02/10/2009, 11h40
fr1man

Tu veux dire que les insertions ne sont plus effectuées au bout d'un certain temps ?
Il y a un chapitre dans la doc sur les batchs, l'as-tu lu ?
02/10/2009, 11h43
HadanMarv

oui tout à fait le programme semble se mettre en pause.
comme si hibernate faisait un flush. Soit c'est du côté de Hibernate, soit c'est la base de données qui supporte pas mais çà m'étonne plus j'avoue.

Oui, j'ai le bouquin sous les yeux page 219 de Hibernate3.0 de Anthony Patricio.
ce que j'ai mis comme code dans mes inserts est exactement ce qu'il a mis sur la gestion des batchs.
J'ai lu d'autres postes relatifs au perf mais rien de concluant pour le moment.
Avez-vous des idées / solutions ?
Avez-vous besoin d'autres éléments ?

D'avance merci.
HadanMarv
02/10/2009, 13h50
fr1man

http://docs.jboss.org/hibernate/stab..._single/#batch

Essaie quand même ce qui est expliqué dans la doc.
En gros, utiliser les batchs JDBC en faisant un flush tous les n éléments, n étant égal à la taille du batch.
02/10/2009, 14h02
HadanMarv

comme tu peux le noter dans le bout de code fourni, je fais une récup de la session hiverntate (openSession), puis begin transaction, un session.save de mon objet, un flush et un clear. ce qui est encore plus précis que le niveau mentionné dans la doc d'hibernate. il me reste à voir si le paramétre dans le fichier de config (Batch_size) à une importance dans le cas présent, je modifie et te tiens au courant de suite.
02/10/2009, 14h13
fr1man

Oui j'ai vu ton code.
Mais si tu fais un flush et un commit pour chaque objet, tu n'utiliseras pas les batchs JDBC et cela devrait donc être plus lent.
A toi de voir en faisant des tests ce que cela donne.
05/10/2009, 11h17
VirageGroup
Bonjour,

Je pense qu'il ne faut pas ouvrir/fermer une session pour chaque insert.
Code:

1 2 3 4 oSession = HibernateUtil.getSessionFactory().openSession() ; .... oSession.close();
mais bien une seule fois pour tous le batch.

Et faire des flush/clear régulièrement.
Voir comme exemple le §13.1 du http://docs.jboss.org/hibernate/core...tml/batch.html

VG.
20/10/2009, 22h47
skaloup

Voici quelques conseils

1) Vote pour mon patch ;-)
http://opensource.atlassian.com/proj...rowse/HHH-3860
L'idée ne vient pas de moi mais d'un vieux bug de 2006
http://opensource.atlassian.com/proj...rowse/HHH-2272

2) Ajout l'option hibernate.jdbc.batch_size=1024

3) comme dis plus haut, flush / commit tous les 1024 ou 512 objets environ.

Citation:

oSession = HibernateUtil.getSessionFactory().openSession() ;
tx = oSession.beginTransaction();
for(int i... 10000000)
{

oSession.save(object);
if (i %1024 == 0)
{

oSession.flush() ;
oSession.clear() ;
tx.commit();
tx = oSession.beginTransaction();
}
}
oSession.flush() ;
oSession.clear() ;
tx.commit();

Cela devrai prendre pour ton cas environ 15 minutes pour tes 3 * 300000 objets même avec une base de donnée distante.

Active les log, hibernate devrai faire 1000 insert de ta classe puis 1000 insert de ta classe B, puis la C.

Merci de nous dire si ton problème est résolu.