Problème performance hibernate

Bonjour,

J'ai 2 millions de ligne à insérer dans une base SQL server avec hibernate.
Mon problème, c'est que c'est extrêmement long : 5 minutes = 500 lignes insérées

Code:

---

1 2 3 4 5 6 7 8 9 10

@Transactional(value="sqlServerTransactionManager") public void save(List<Objet> listObjects){   for(Objet object : listObjects){ sqlServerEntityManagerFactory.persist(object ); }     }

---

Comment faire améliorer les performances ? J'avais pensé à une procédure stockée ?

ne pas passer par JPA pour ce genre d'opération? Pour charger massivement des données dans une DB, il vaut mieux utiliser directement le la connection DB et faire du SQL brut.

Tout les tuto que je vois sont avec JPA pour Spring

Salut,

C'est lent pour plusieurs raisons, mais la raison principale est qu'une transaction est effectuée pour chaque objet inséré (START TRANSACTION; ... COMMIT;).

JPA n'est pas prévu pour insérer une liste d'objet, mais si tu tiens absolument à garder ton pattern qui boucle sur une liste, tu peux toujours faire en sorte de démarrer la transaction, effectuer ta boucle qui insère, et commiter :

Code:

---

1 2 3 4 5 6 7

em.getTransaction().begin();   BOUCLE { em.persist(objet); }   em.getTransaction().commit();

---

A+

Quand j'utilise le bout de code indiqué, sa ne marche pas.
Sa me provoque une erreur en me disant que Spring gère les transaction

Citation:

---

Envoyé par Gugelhupf

Salut,

C'est lent pour plusieurs raisons, mais la raison principale est qu'une transaction est effectuée pour chaque objet inséré (START TRANSACTION; ... COMMIT;).

---

Heu non, l'entitymanager ne fait normalement partie d'un transaction globale existante.

@_tchize, Je vois bien qu'il y a une annotation @Transactional, mais je ne sais pas comment son entitymanager est configuré. Cinq minutes pour 500 objets c'est beaucoup trop lent, cette lenteur arrive généralement lorsque qu'il y a une transaction effectué par objet.

J'ai visiblement confondu avec un autre sujet que je lisait où l'injection était dans un EJB :)

Dans la mesure où l'annotation @Transactional est définie au niveau de la méthode et que la méthode fait une boucle pour persister les entités, il n'y a pas de commit à chaque écriture mais à la sortie de la méthode.

Qu'est ce que "sqlServerEntityManagerFactory" au juste, le nom prête à confusion... c'est l'EntityManager ou c'est une classe à toi ?

De manière générale, il n'est pas bon de faire de grosses boucles d'insertions sans se soucier des caches d'hibernate, il serait judicieux de "purger" le cache tous les x insert.
Quelque chose comme ceci

Code:

---

1 2 3 4 5 6 7 8 9 10 11

int i = 0; for (Object o : entities) { entityManager.persist(o); i++: if (i ^ 50 == 0) { entityManager.flush(); entityManger.clear(); } }

---

+1 avec OButterlin

Un peu de documentation sur le sujet:

http://docs.jboss.org/hibernate/orm/...ide.html#batch

https://vladmihalcea.com/2015/03/18/...ith-hibernate/

Regarde également la propriété hibernate.jdbc.batch_size qui permet comme son nom l'indique de régler la taille des batch JDBC.