Comment éviter des milliers d'Insert

Bonjour


Pour un projet j'ai construit une liste d'objets java qui contient elle même une liste enfants d'objets formant un arbre père/fils.

Au total j'ai plusieurs dizaines de milliers d'objets oren sauvegardant j'ai remarqué que pour chaque objet j'avais un insert dans la base de données du coup cette opération peut me prendre presque une heure.

N'y aurait-il pas un moyen de faire les insert par blocs :

en gros passer de

Code:

---

1 2 3 4

INSERT INTO ... VALUES (...) INSERT INTO ... VALUES (...) INSERT INTO ... VALUES (...) INSERT INTO ... VALUES (...)

---

à

Code:

---

INSERT INTO ... VALUES (...),(...),(...),(...)

---

Et ainsi n'avoir qu'une seule requête

Salut

C est peut long parce qu il fait un commit apres chaque insert ; Ce qui va prendre du temps c est le commit et non pas la requete insert.
Il faudrais essaye de faire un commit tout 100 enregitrements.

++

sur sql server il est possible d'utiliser la syntaxe que tu souhaiterais, à voir selon ton sgbdr

sinon une autre possibilité plus rapide est de faire tes insert dans une table temporaire (sans journalisation style table @ pour sql server)
puis de faire insert into table finale (...) select 1... from @tabletmp
l'insert sera donc fait en une seule fois et quasi instantanément

Citation:

---

Envoyé par Pol63

sinon une autre possibilité plus rapide est de faire tes insert dans une table temporaire (sans journalisation style table @ pour sql server)
puis de faire insert into table finale (...) select 1... from @tabletmp
l'insert sera donc fait en une seule fois et quasi instantanément

---

Euh, non. Le problème sera le même. Les variables tables et les tables temporaires sont aussi persistées sur le disque, dans la base de données tempdb. Eventuellement, s'il y a des mises à jour d'index ceux-ci seront effectivement plus rapide si l'insertion se fait en une fois, mais le goulot d'étranglement dans le cas d'insert multiple comme ici, ce sont les échanges entre l'applicatif et le SGBD.

Le problème est plutôt un soucis de configuration de NHibernate que de base de données. Si un spécialiste NHibernate passe par là...

l'écriture disque n'est pas la journalisation, et elle est peu importante
la mise à jour des indexes, les éventuels triggers ... ceci a un impact réel entre 1k insert et un insert d'1k ligne
même si on transmet les 1k insert dans une seule commande (avec donc un seul allez retour)

après les ORM posent en effet ce genre de problème ^^

J'ai deplace la discussion dans le forum Java > Persistence > Hibernate. NHibernate est le portage en .NET d'Hibernate (pour Java).

Je ne suis pas specialist de Java, mais apparemment il est possible d'activer le mode batch : How to batch INSERT and UPDATE statements with*Hibernate.