Version imprimable
Bonjour,
j'aimerais savoir comment améliorer les performance de mon application qui tourne avec hibernate. maintenant la BD a pris du volume et tout rame au lancement.
J'ai lu des trucs sur LAZY/EAGER et j'aimerais avoir des avis sur les stratégies à utiliser car j'ai une méthode Session.findAll(maClass.class) qui prends près de 10mn pour afficher 50.000 instances (c'est pas beaucoup comme données pourtant!)
merci.
50.000 objets en mémoire, à 1k l'objet (ce qui n'est pas grand chose, evidement tout dépend du nombre de champs de tes objet + les surcouches d'hibernate), tu pompe 48M de données pour les mettre en mémoire. Si t'as besoin d'avoir 50.000 row en mémoire, regarde plutot du cotés des requete hibernate qui te retournent des tableaux plutot que des objets hibernante.
De plus faut voir dans quelle mesure c'est pas ton affichage qui prendrait 9m30 et le pompage base de données 30 secondes (ce qui cadrerais plus avec les 50.000 objets.
merci,
je regarderai dans cette direction pour voir ce que ça donne. En passant ma BD est supposé vite grossir et devrait accueillir des dizaine de millions de d'instances.
C'est toujours le même problème, est-il obligatoire d'afficher autant de données en même temps ?
Quand on a beaucoup de données, on utilise la pagination par exemple.
tchize_, juste précision supplémentaire:
j'ai fait une accès direct via JDBC et l'affichage est instantané. Je conclu que la lenteur provient d'hibernate et pas de l'affichage
on peux voir les deux code ainsi que le mapping de la classe? Sache aussi que hibernate fait beaucoup plus que réceptionner les données, il crée des proxy pour chaque classe, initialise les champs par réflection, associe les classe à la session dans un map, charge éventuellement ce qui doit être chargé en non-lazy.
48M de données en instantané, t'as une bon réseau toi :)
Quelle stratégie de chargement utilises-tu (EAGER) ?
Il est certain qu'avec un fetch EAGER, tu peux être amené à charger tout le graphe objets en mémoire, ça n'aide pas beaucoup de tester une requête SQL du type "select * from maTable" pour comparer par rapport à un "from MaTable.class", sauf si tu as mis fetch = LAZY.
Peux-tu préciser ?
A+
Ci-dessous un mapping de deux tables (mon système en compte une cinquantaine)
Mapping :
Code:
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
Pour le moment mon application fonctionne en localhost et je l'ai développé avec Hibernate 2 et j'ai laissser son EAGER par défaut.. Je voulais éviter les accès répétitifs à la BD. Maintenant je pense que c'est pour cela que l'application rame.Code:
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
Quelle serait la bonne stratégie dans ce cas?
merci
Question à part, pourquoi n'utilises tu pas Hibernate 3 ?
Il faut que tu mettes tes collections à lazy = true, qui est la valeur par défaut dans Hibernate 3 mais pas dans la 2.
Après, c'est à toi de jongler entre le nombre de données remontées, le nombre affichées, etc...
Encore une fois, je ne connais pas ton interface, mais il n'est peut-être pas utile de remonter autant d'objets d'un coup.
Ou alors, les remonter, mais sans les collections associées, qui seraient chargées ultérieurement.
met du lazy à true et passe en hibernate 3 pour commencer. Tel qu'il est, ton mapping a le potentiel de charger toute al base de donnée quand tu ne demande qu'une seule modique classes. En plus, si je ne me trompe pas, avec du eager, hibernate va essayer de charger les association en même temps que la classe principale, ce qui a bout au liu d'un
à un truc du genreCode:select * from matable
et suivant le nombre d'associations, ca peut aller loin dans les inner join, ce qui peux plomber la base de données.Code:select * from matable inner join select * from matable2 where blablabla
Je vais mettre lazy=true et refaire les test. Effectivemnt je crois que hibernate remonte toute la BD, d'ùu la lenteur.
hibernate 2 vs hibernate 3:
A l'époque où je demarrais l'application j'ai utilisé le plugin Eclipse HibernateSynchroniser 2( qui utilise hibernate 2) car j'ai apprecié le fait qu'il génère une classe abstraite au dessus de chaque POJOs.
Quand j'ai voulu passé à hibernate 3 il fallait que je fasse à ma main un refactoring des import net.sf en org.hibernate (galère ....).
Du coup j'aimerai savoir si quelqu'un n'aurais pas une version d'hybernatesynchronizer compatible avec Hibernate 3? car je souhaite conserver l'architecture des classes.
suffit de faire un replace dans ton code de net.sf en org.hibernate, ca devrais etre bon pour 99% de ton code, ca met 20 secondes à faire dans eclipse
tchize_ pas si simple que ca. En effet la migration vers hinernate 3 m'embarque dans l'exemple même de ce que je ne voulais pas( faute de temps en ce moment): lire le nouveau le guide de migration. Figure toi que mon appli ne tourne plus à cause de dtd ; fichier de mapping.
ci dessous un exemple de bug que j'arrive pas à bien localiser et resoudre:
(ce code fonctionnait correctement avec hibernate2)
voici l'erreur produite:Code:
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
quelqu'un aurait-il une idée?Code:
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
merci
t'as juste a rajouter la dtd de hibernate 3. Ca met un ligne, regarde els exemple hibernate 3 tu verra quelle est la DTD, tu copie/colle
merci. c'était effectivement une erreur de dtd.
maintenant tout compile mais encore une erreur. voici ma classe HibernateUtil.java en charge d'initialiser la session.
Code:
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
quand j'execute je recois l'erreur suivante:
Quelqu'un aurait-il une solution?Code:
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
J'aimerais aussi savoir si c'est normale que dans la trace on retrouve des references à hibernate 2 (net.sf. )
il n'y a pas de référence à hibernate 2 dans ta trace. C'est net.sf.cglib qu'on retrouve dedans, ca correspond à la librairie cglib. Dans ton cas, c'est ta librairie asm et/ou cglib qui n'est pas dans la version requise par hibernate.
J'avance dans ma migration vers Hibernate 3 avec quelques constat pour ceux que ca peut aider:
En fait je suis dans un contexte Eclipse RCP. j'ai justement constaté qu'Eclipse importait plutot sa propre library asm (en calculant les dépendance: j'ai désactivé cet import).
ca compile mais renvoi l'erreur:
Et en lisant http://www.mastertheboss.com/en/hibe...-tutorial.html j'ai rajoutéCode:
2
Ce dont je n'avait pas besoin avec hibernate 2.Code:
2<property name="current_session_context_class">thread</property>
Par ailleurs j'ai constater deux choses:
1 Hibernate3 impose la création d'une transaction pour les requêtes selection (par exemple avec Criteria(...).list()) contrairement à hibernate 2
2 Le comit de la transaction créer pour la requete de sélection faire automatiquement la session ouverte ==> impossible de charger les collections.
Maintenant je vais essayer de trouver une bonne stratégie de gestion la mémoire et reste preneur pour toutes idées.
merci
T'es sur là, jai jamais constaté ce phénomène. J'ai ce code ciCitation:
Envoyé par henpower
sur une session qui retourne directement du createSession de la factory, aucun soucis! Et je suis en hibernate 3.Code:
2
Encore une fois étrange, je fais ici des commit sur des transaction, ca ne ferme pas mes sessions.[/QUOTE]Citation:
2 Le comit de la transaction créer pour la requete de sélection faire automatiquement la session ouverte ==> impossible de charger les collections.
Tout dépend de comment tu gères ta session.
Est-elle rattachée à un thread, un contexte transactionnel, etc...
Pour éviter ton problème de chargement sur les collections, tu peux :
- charger tes collections avant ton commit
- faire une session (longue) pour la lecture, qui reste ouverte en permanence
et de petites sessions courtes pour l'ecriture de données.
Il y avait un exemple d'application lourde avec Hibernate développée par un membre de l'équipe Hibernate qui expliquait ceci, mais je n'ai pas retrouvé le lien.
J'ai retrouvé un lien qui peut être intéressant.
http://in.relation.to/Bloggers/HibernateAndSwingDemoApp
merci pour le lien fr1man et tes propositions.
dis tchize_ est ce que le problème ne viendrait pas de:
Je suis autant surpris que toi par la fermeture des sessions et l'obligation de definir des transaction.Code:
2<property name="current_session_context_class">thread</property>
Je vais regarder tout de près. En fait dans le projet sur lequel je bosse je suis chargé d'implementer la couche d'accès au données pour des developpeurs d'IHM qui ne doivent pas savoir que l'implemenetation est celle d'hibernate.
Je le dis au cas où vous auriez des propositions à me faire pour abstraire au maximum hibernate et controlé les temps de réponses.
J'utilise hiberante 3.2.5.ga
Merci
Tu as tout compris. La durée de vie de ta session est associée à celle du thread courant, donc quand il se termine, la session se termine également.
on peux voir ton code? on travaille à l'aveugle là. Le session_context précise comment se comportent SessionFactory.openSession() et SessionFactory.getCurrentSession().
ci-dessous la version simplifiée des fichiers de mapping et mon code comme vous le souhaitiez:
hibernate.cfg.xml
Document.hbmCode:
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33<?xml version='1.0' encoding='utf-8'?> <!DOCTYPE hibernate-configuration PUBLIC "-//Hibernate/Hibernate Configuration DTD 3.0//EN" "http://hibernate.sourceforge.net/hibernate-configuration-3.0.dtd"> <hibernate-configuration> <session-factory > <!-- local connection properties --> <property name="hibernate.connection.url">jdbc:postgresql://localhost:5432/MyDataBase</property> <property name="hibernate.connection.driver_class">org.postgresql.Driver</property> <property name="hibernate.connection.username">postgres</property> <property name="hibernate.connection.password">postgres</property> <!-- property name="hibernate.connection.pool_size"></property --> <!-- dialect for PostgreSQL --> <property name="dialect">org.hibernate.dialect.PostgreSQLDialect</property> <property name="hibernate.show_sql">false</property> <property name="hibernate.use_outer_join">true</property> <property name="hibernate.transaction.factory_class">org.hibernate.transaction.JDBCTransactionFactory</property> <property name="hibernate.jdbc.batch_size">30</property> <!-- je dois avoir un problème avec cette propriété--> <property name="current_session_context_class">thread</property> <!-- insertion des fichiers de mapping ici--> </session-factory> </hibernate-configuration>
Sentence.hbmCode:
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
comme je souhaite masquer l'utilisation d'hibernate, j'ai définit deux interface:Code:
2
3
4
5
6
7
8
9
10
11
12
13
14
15
MySession.java(on y trouve tous les service de session org.hibernate.Session à qui le boulot sera délégué)
MyTransaction.java ( on y trouve tous les service de session org.hibernate.Transaction à qui le boulot sera délégué)
Code:
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
HibernateUtil.java:Code:
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
Code:
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
Voila en simplifié le code qui m'oblige à créer les transaction même pour des opération de select, et qui ensuite faire automatique ma session lors d'un commit. A mon avis il ya un truc par clair avecmerciCode:<property name="current_session_context_class">thread</property>
Ton application utilise-t-elle plusieurs threads ?
Pour les transactions, tu ferais bien de prendre l'habitude de les déclarer, même pour de simples lectures (cf explication de deux membres de l'équipe Hibernate):
https://forum.hibernate.org/viewtopi...098&highlight=
J'accepte qu'il faille créer des transactions. ce que je ne comprend pas c'est pourquoi un transaction.commit() ferme ma session (session.close()).
Je ne sais pas si c'est un bon choix mais j'opterais pour un multithread pour laisser une certaine marche de manoeuvre au deveppeur utilisant ma couche d'accès aux données.
Je parlais de actuellement.
Car si tu as ta session rattachée au thread courant (grâce à ta propriété <property name="current_session_context_class">thread</property> ), il est normal que la session se ferme à la fin de ton thread.
j'utilise
quand j'essaie avecCode:
2<property name="current_session_context_class">thread</property>
Code:<property name="current_session_context_class">thread</property>
ce serait quoi la bonne configuration?Code:
2
3
4
tu peux nous montrer un exemple de code qui foire, histoire que l'on vois bien que la session a été fermée par le commit?
Finalement le problème était lié à la façon de créer ma session hibernate.
j'utilisais la méthode getCurrentSession() qui se base sur pattern Session per Transaction. Voila pourquoi chaque commit() fermait automatique la session courante.
En utilisant openSession() le problème est résolu.