[Cache et perf]

Version imprimable

09/08/2006, 10h10
bslota

[Cache et perf]
J'utilise Hibernate3.0 (Persistence EJB3.0 avec annotation) en dehors d'un serveur d'application pour apprendre.

soit le code suivant qui fait une pauvre requète select sur une table Salesman avec une jointure OneToOne sur une autre table:
Code:

1 2 3 4 5 6 7 Session session = HibernateUtils.getSession(); List<Salesman> salesmen = session.createQuery("from Salesman").list(); session.close(); return salesmen;
si j'ai le paramètrage:
hibernate.connection.pool_size 0
Le temps pour ma requète est de 5 sec (innacceptable)

si je mets
hibernate.connection.pool_size 1
J'ai beau changer les valeurs dans la base, j'ai toujours le même resultat (le 1°)
09/08/2006, 10h22
fr1man

La propriété hibernate.connection.pool_size permet de régler la taille du pool de connexions. Le pool n'agit pas sur la performance des requêtes mais sur l'obtention d'une connexion à la base de données.

Combien d'enregistrements cette requête devrait-elle te renvoyer ?
As-tu exécuter la même requête en sql directement sur la base pour voir si le problème ne vient pas de la base ?
09/08/2006, 10h34
bslota

c'est une base de tests avec 6 enregistrements!!

J'ai fait afficher les requètes que j'ai directement executé sur ma base (MySQL) et c'est immediat!!
09/08/2006, 10h38
bslota

mais je me demandais, vu le nombre de dépendance qu'il y a (ProXool, ehCach C3PO, etc...) peut être qu'il me manque une jar dans mes dépendances??

En tout cas, vu qu'Hibernate est beaucoup utilisé, j'imagine que niveau perf, ça assure un minimum!!??
09/08/2006, 10h40
fr1man

Ta base est-elle sur le même poste que ton appli ?

Hibernate n'est pas en cause pour ce problème de perf.
J'ai déjà récupéré plusieurs milliers d'enregistrements dans des temps tout à fait corrects.

S'il te manquait quelque chose tu aurais une erreur dans tes logs.
Les jars que tu viens de citer concernent les pools de connexion et la gestion du cache. Ces fonctionnalités ne sont pas indispensables pour "tester" Hibernate.
09/08/2006, 10h41
bslota

ça me rassure alors!!

non, ma base n'est pas sur la même machine!

par contre, j'ai un truc étrange dans les requètes générés, c'est que j'ai la première requète qui va chercher mes "commerciaux" puis j'ai une requète par enregistrement pour faire la jointure sur la 2° tables!!??

J'aurai plutot imaginé une seule requète!!??

mon objet:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 public class Salesman { @Id public int Id; ... //la jointure @OneToOne(cascade = CascadeType.ALL) //??? @JoinColumn(name = "addressId") @NotFound(action = NotFoundAction.IGNORE) public Address getAddress() { return address; } }

09/08/2006, 10h51
fr1man

L'attribut fetch="join|select" te permet de gérer tes associations.
Le join va tout récupérer en une seule requête.
Le select va générer une deuxième requête.
09/08/2006, 10h58
bslota

bon allez, j'ai un peu honte de le demander mais je sens que tu vas me faire gagner du temps (je pourrais en effet chercher tout seul) mais...

comment?? c'est où que l'on defint ce param? dans un attribut d'une annotation ou dans le fichier de config?

(je cherche seul en parrallèle toutefois;) )
09/08/2006, 11h00
bslota

j'ai trouvé ceci:
@OneToOne(cascade = CascadeType.ALL, fetch = FetchType.LAZY)
ou
@OneToOne(cascade = CascadeType.ALL, fetch = FetchType.EAGER)

???
09/08/2006, 11h01
fr1man

J'utilise les fichiers xlm et non pas les annotations.
Donc je ne connais pas la syntaxe dans ton cas.
Dans un fichier xml, c'est une propriété du tag de ton association,
en l'occurence, du tag one-to-one.
09/08/2006, 11h06
fr1man

http://www.hibernate.org/hib_docs/an...ingle/#d0e2203

Va voir ce paragraphe de la doc, c'est expliqué.
09/08/2006, 11h12
bslota

bon, ça change rien mais je vais chercher!!

Mais je reviens à mon problème initial!! pourquoi quand je change les données dans la base, ma requète hibernate renvoie toujours le même premier resultat!!
Comme si la requète et son resultat etait "caché"!!??
09/08/2006, 11h24
fr1man

Les données, tu les modifies directement dans la base par sql (ou un outil graphique) ou avec Hibernate ?
09/08/2006, 11h54
bslota

je modifie la base avec phpmyadmin!;)
j'ai un peu de mal avec hibernate mais quand même!!:roll:
09/08/2006, 12h09
fr1man

Si tu n'as pas activé le cache de requête, normalement, tu devrais avoir les données à jour.
09/08/2006, 13h33
BizuR

Petite question qui donnerait une réponse rapide à ton probleme.
Ton programme fait quoi exactement ? Juste une requete SQL ?

Si c'est le cas je crois savoir pourquoi Hibernate met 5sec à te donner une réponse :

A chaque lancement de programme tu initialises Hibernate; ce qui lui prend 5sec environ avant de commencer a travailler. Si tu veux t'en rendre compte, fais, dans le même programme une quinzaine de requetes et tu verras qu'ils mettra sensiblement 5secondes également ! ;)

C'est pourquoi Hibernate est à préconiser sur une application serveur ... qui tourne en permanence car Hibernate n'a pas a se reinitialiser a chaque requete ;).
09/08/2006, 13h49
fr1man

Effectivement, la phase d'initialisation prend un peu de temps.
Cependant, elle ne s'effectue qu'une fois que ce soit une application serveur ou pas:
- soit au lancement de l'application
- soit lors de la première requête
Tout dépend de la façon dont tu le gères.

mouais....:?

je vois bien qu'à la 1° requète, j'ai moult traces qui apparaissent mais plus après!! j'ai juste mes requètes!! (peut on se fier au log??)

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
...
INFO: Query language substitutions: {no='N', true=1, yes='Y', false=0}
9 août 2006 13:56:32 org.hibernate.cfg.SettingsFactory buildSettings
INFO: Second-level cache: enabled
9 août 2006 13:56:32 org.hibernate.cfg.SettingsFactory buildSettings
INFO: Query cache: disabled
9 août 2006 13:56:32 org.hibernate.cfg.SettingsFactory createCacheProvider
INFO: Cache provider: org.hibernate.cache.EhCacheProvider
9 août 2006 13:56:32 org.hibernate.cfg.SettingsFactory buildSettings
INFO: Optimize cache for minimal puts: disabled
9 août 2006 13:56:32 org.hibernate.cfg.SettingsFactory buildSettings
INFO: Cache region prefix: hibernate.test
9 août 2006 13:56:32 org.hibernate.cfg.SettingsFactory buildSettings
INFO: Structured second-level cache entries: disabled
9 août 2006 13:56:32 org.hibernate.cfg.SettingsFactory buildSettings
INFO: Echoing all SQL to stdout
9 août 2006 13:56:32 org.hibernate.cfg.SettingsFactory buildSettings
INFO: Statistics: enabled
9 août 2006 13:56:32 org.hibernate.cfg.SettingsFactory buildSettings
INFO: Deleted entity synthetic identifier rollback: disabled
9 août 2006 13:56:32 org.hibernate.cfg.SettingsFactory buildSettings
INFO: Default entity-mode: pojo
Hibernate: select salesman0_.id as id8_, salesman0_.addressId as addressId8_, salesman0_.comment as comment8_, salesman0_.firstName as firstName8_, salesman0_.lastName as lastName8_, salesman0_.userName as userName8_, salesman0_.phone as phone8_ from Salesman salesman0_
Hibernate: select address0_.key as key6_0_, address0_.address as address6_0_, address0_.state as state6_0_, address0_.country as country6_0_, address0_.city as city6_0_, address0_.zipcode as zipcode6_0_ from address address0_ where address0_.key=?
Hibernate: select address0_.key as key6_0_, address0_.address as address6_0_, address0_.state as state6_0_, address0_.country as country6_0_, address0_.city as city6_0_, address0_.zipcode as zipcode6_0_ from address address0_ where address0_.key=?
Hibernate: select address0_.key as key6_0_, address0_.address as address6_0_, address0_.state as state6_0_, address0_.country as country6_0_, address0_.city as city6_0_, address0_.zipcode as zipcode6_0_ from address address0_ where address0_.key=?
Hibernate: select address0_.key as key6_0_, address0_.address as address6_0_, address0_.state as state6_0_, address0_.country as country6_0_, address0_.city as city6_0_, address0_.zipcode as zipcode6_0_ from address address0_ where address0_.key=?
Hibernate: select address0_.key as key6_0_, address0_.address as address6_0_, address0_.state as state6_0_, address0_.country as country6_0_, address0_.city as city6_0_, address0_.zipcode as zipcode6_0_ from address address0_ where address0_.key=?
Hibernate: select address0_.key as key6_0_, address0_.address as address6_0_, address0_.state as state6_0_, address0_.country as country6_0_, address0_.city as city6_0_, address0_.zipcode as zipcode6_0_ from address address0_ where address0_.key=?
9 août 2006 13:56:32 org.hibernate.impl.SessionFactoryImpl <init>
INFO: building session factory
9 août 2006 13:56:34 org.hibernate.impl.SessionFactoryObjectFactory addInstance
INFO: Not binding factory to JNDI, no JNDI name configured
Hibernate: select salesman0_.id as id8_, salesman0_.addressId as addressId8_, salesman0_.comment as comment8_, salesman0_.firstName as firstName8_, salesman0_.lastName as lastName8_, salesman0_.userName as userName8_, salesman0_.phone as phone8_ from Salesman salesman0_
Hibernate: select address0_.key as key6_0_, address0_.address as address6_0_, address0_.state as state6_0_, address0_.country as country6_0_, address0_.city as city6_0_, address0_.zipcode as zipcode6_0_ from address address0_ where address0_.key=?
Hibernate: select address0_.key as key6_0_, address0_.address as address6_0_, address0_.state as state6_0_, address0_.country as country6_0_, address0_.city as city6_0_, address0_.zipcode as zipcode6_0_ from address address0_ where address0_.key=?
Hibernate: select address0_.key as key6_0_, address0_.address as address6_0_, address0_.state as state6_0_, address0_.country as country6_0_, address0_.city as city6_0_, address0_.zipcode as zipcode6_0_ from address address0_ where address0_.key=?
Hibernate: select address0_.key as key6_0_, address0_.address as address6_0_, address0_.state as state6_0_, address0_.country as country6_0_, address0_.city as city6_0_, address0_.zipcode as zipcode6_0_ from address address0_ where address0_.key=?
Hibernate: select address0_.key as key6_0_, address0_.address as address6_0_, address0_.state as state6_0_, address0_.country as country6_0_, address0_.city as city6_0_, address0_.zipcode as zipcode6_0_ from address address0_ where address0_.key=?
Hibernate: select address0_.key as key6_0_, address0_.address as address6_0_, address0_.state as state6_0_, address0_.country as country6_0_, address0_.city as city6_0_, address0_.zipcode as zipcode6_0_ from address address0_ where address0_.key=?

Dans ma console, à chaque requète, je vois juste le requète sql généré mais le resultat ne correspond pas!! (sauf le premier coup)

et mon cache de requète n'est pas activé!!
## enable the query cache
#hibernate.cache.use_query_cache true

et tant que j'y suis, c'est quoi le cache de 2° niveau??
## disable the second-level cache
#hibernate.cache.use_second_level_cache false

09/08/2006, 14h15
fr1man

Le cache de second niveau permet de stocker des objets dans un cache lors de leur première récupération en base.
Lors d'une nouvelle récupération, il n'y a pas d'accès à la base de données mais directement au cache.
Ceci est valable pour get, load entre autres.

Pour ce qui est des ojets récupérés par requêtes, c'est différent.
Il faut activer le cache de second niveau et le cache de requete et pour chaque requete faire un:
query.setCacheable(true);
09/08/2006, 14h21
BizuR

Ah, au temps pour moi, tu fais donc bien plusieurs requetes lors du même programme ... je pensais que tu t'étonnais que LA requete que tu lancais (dans un main par exemple) te prenait 5sec ... chose qui aurait été expliquée.

Pour la cache second niveau, il est applicatif. Tu le desactive comme tu l'as cité. Pour info, si ce dernier est desactivé, le cache de requete l'est aussi par défaut il me semble.

Dernier point, il existe également le cache de session (dit de 1er niveau) qui lui n'est pas désactivable mais seulement nettoyable avec la méthode clear() appartenant à l'objet session. Peut etre est ce dernier qui vient perturber tes résultats.

Sinon en regardant ton code, peut on savoir ce que sont les 6 requetes qui suivent celle de ton vendeur ?!? Charges tu des listes ou tout autre informations ?!?
09/08/2006, 14h40
bslota

bah les 6 autres requètes (j'en parles précédement), c'est ma jointure d'une relation OneToOne!! et effectivement ça ne me plait pas du tout non plus!! mais j'ai pas reussi à trouver le bon paramètre!!
apparement fetch mais ça n'a pas marché!?

session.clear()???
mais de tout les exemples que j'ai vu, ils n'utilisent pas ça?? j'essaye!!
09/08/2006, 14h48
BizuR

Citation:

Envoyé par bslota

session.clear()???
mais de tout les exemples que j'ai vu, ils n'utilisent pas ça?? j'essaye!!

Bah cela dit ... "normalement" le cache n'est que béénfique pour l'appli alors on en parle moins :lol: mais la doc hibernate mentionne bien l'option clear() en question ;)

Pour les One to one, en effet, je n'avais cependant pas fait la liaison entre les deux éléments :oops:
09/08/2006, 14h50
bslota

clear() change rien!!

je tourne en rond!!:( :bug:
09/08/2006, 17h18
bslota

truc de ouf malade!!

J'ai fait la methode hibernate d'ajout dans la base et là, ça marche!!

Donc si j'ajoute un champ, modifie supprime un champ depuis phpmyadmin (par ex), les changements n'apparaissent pas (etant donné que c'est un table innodb, j'ai fait un commit au cas où!?)

Par contre, si je fais cela (j'ai au moins testé l'ajout) depuis mon appli via hibernate, les changement apapraissent!!!8O

Il doit y avoir quand même une histoire de cache la dedans!! c'est pas possible!!
09/08/2006, 17h24
bslota

encore plus ouf!!

j'allume mon prog une première fois!!
j'affiche la liste dans le premier, j'ajoute via phpmyadmin un enregistrement E1
je reaffiche la liste. le nouvel enregistrement E1 n'apparait pas

j'allume mon prog une deuxieme fois!! (autre instance)
j'affiche la liste et on y vois E1

j'ajoute via mon prog1 un enregistrement E2
j'affiche la liste dans prog1, je vois desormais E1 et E2

j'affiche la liste dans prog2, je vois toujours E1 mais pas E2

C'est donc la methode session.save() qui reactualise qqchose!??

Le seul truc qui change, c'est que je n'utilise pas de transaction dans la requete de chargement de la liste!!!

C'etait la transaction!!!

bref au lieu de :

Code:

1
2
3
4
5
 
Session session = HibernateUtils.getSession();   
List<Salesman> salesmen = session.createQuery("from Salesman").list();
session.close();
return salesmen;

il fallait mettre:

Code:

1
2
3
4
5
6
7
Session session = HibernateUtils.getSession();
Transaction tx = session.beginTransaction();
List<Salesman> salesmen = session.createQuery("from Salesman").list(); 
tx.commit();
session.close();
return salesmen;

POURQUOI!!???

09/08/2006, 17h49
fr1man

Tout code d'accès à une base de données doit se faire
au sein d'une transaction:
que ce soit un accès en lecture ou écriture.

Si ce n'est pas le cas, cela peut engendrer des incohérences au niveau des données.
09/08/2006, 18h12
bslota

Evidemment !!
Quand je me lance dans l'apprentissage d'un nouvel outil, j'ai pour habitude de mettre mes fondamentaux de coté!! je préfère me crisper sur les paramètrages!!
:roll:

Cependant je me demande ce qui ce se passe sur une base MyIsam qui ne gère pas les transactions??