Discussion :

[Sniper37]

bonjour,

j'ai une requete avec DetachedCriteria, qui récupere beaucoup de ligne de la base..qq milliers de lignes..

qd le résultat dépasse un certain nombre de ligne..vers 1000, j'ai un outOfmemory,

est ce un probleme de config? peut on mapper des milliers d'objets avec hibernate ?

la config hibernate:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
 
<bean class="org.springframework.jdbc.datasource.DriverManagerDataSource" id="dataSource">
<property name="driverClassName">
<value>com.microsoft.sqlserver.jdbc.SQLServerDriver</value>
</property>
<property name="url">
<value>
url
</value>
</property>
<property name="username">
<value>user</value>
</property>
<property name="password">
<value>mdp</value>
</property>
</bean>
<!-- Hibernate Session Factory Bean -->
<bean
class="org.springframework.orm.hibernate3.LocalSessionFactoryBean"
id="sessionFactory">
<property name="mappingResources">
..
..
..

merciiiiiii

[Gardyen]

y'a t'il beaucoup d'objets et de relations et utilises tu le lazy loading dans tes mappings d'association ?

si tu n'utilises pas le lazy loading alors oui tu peux arriver à un dépassement de mémoire, puisqu'à travers les associations hibernate va essayer de charger toute ta base en mémoire...

[Sniper37]

et les proprietes hibernate:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
 
<property name="hibernateProperties">
<props>
<prop key="hibernate.dialect">org.hibernate.dialect.SQLServerDialect</prop>
<prop key="hibernate.cache.provider_class">
org.hibernate.cache.EhCacheProvider
</prop>
<prop key="hibernate.max_fetch_depth">3</prop>
<prop key="hibernate.show_sql">true</prop>
<prop key="hibernate.format_sql">true</prop>
<prop key="hibernate.cache.use_query_cache">true</prop>
<prop key="hibernate.cache.use_second_level_cache">
true
</prop>
<prop key="hibernate.jdbc.bach_size">20</prop>
<prop key="hibernate.connection.release_mode">
auto
</prop>
<prop key="default_schema">[dbo]</prop>
</props>
</property>

[Sniper37]

y'a t'il beaucoup d'objets et de relations et utilises tu le lazy loading dans tes mappings d'association ?

si tu n'utilises pas le lazy loading alors oui tu peux arriver à un dépassement de mémoire, puisqu'à travers les associations hibernate va essayer de charger toute ta base en mémoire...

non je n'utilise pas la lazy loading, je suis en hibernate 3, j'utilise le JOIN fetching mode pour 2 ou 3 table;
jai bcq d'objets dans la table principale et la requete est lancé plusieurs fois aussiii donc pas dans la meme session hibernate..

[Gardyen]

donc essaie le lazy loading ou si ça ne te convient pas, tu peux essayer d'utiliser les ScrollableResults

[Sniper37]

donc essaie le lazy loading ou si ça ne te convient pas, tu peux essayer d'utiliser les ScrollableResults

le probleme ne vient pas du lazy loading..avec ou sans le nombre d'objets est consequent ..

[Gardyen]

utilises des session.clear() régulièrement alors

[fr1man]

Es-tu obligé de retourner autant de lignes à la fois ?
Ne peux tu pas mettre en place un système de pagination pour renvoyer moins de données ?
Quel est exactement le contexte ?
Dois tu afficher ces données ?
Peut-être qu'avec un peu plus d'infos on pourra mieux t'aider.

[the-gtm]

1000 objets c'est pas énorme en soit, sauf si chacun a une taille énorme. Je travaille régulièrement avec des sessions de 10k+ objets sans problèmes et avec moins de 100M de mémoire consommée.

Combien de mémoire est allouée à la JVM et quelle tête on les objets ?

[Sniper37]

Es-tu obligé de retourner autant de lignes à la fois ?
Ne peux tu pas mettre en place un système de pagination pour renvoyer moins de données ?
Quel est exactement le contexte ?
Dois tu afficher ces données ?
Peut-être qu'avec un peu plus d'infos on pourra mieux t'aider.

ouii je suis obligé,je dois afficher quelques informations pour des utilisateurs, l'object conctient juste des infos, type nom,prenom..plus plusieurs champs métier de type double. chaque user peut avoir plus de 1000 lignes pour un critère de recherche, et la recherche s'effectue en générale sur tous les users d'une entreprise données (une centaine) .
je suis obligé de faire n requetes pour m users.

1000 objets c'est pas énorme en soit, sauf si chacun a une taille énorme. Je travaille régulièrement avec des sessions de 10k+ objets sans problèmes et avec moins de 100M de mémoire consommée.
Combien de mémoire est allouée à la JVM et quelle tête on les objets ?

pour l'instant je suis en debug sur mon poste, j'utilise les paramètres par défaut d'eclipse avec tomcat 5.5.
je vais augmenter la mémoire allouée à la JVM pour tester..

[Sniper37]

maintenant j'ai une autre exception,

au mileu de ma boucle de recherche, et pas à la premiere requete.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
 
org.springframework.dao.DataAccessResourceFailureException: Cannot open connection; nested exception is org.hibernate.exception.JDBCConnectionException: Cannot open connection
Caused by: 
org.hibernate.exception.JDBCConnectionException: Cannot open connection
	at org.hibernate.exception.SQLStateConverter.convert(SQLStateConverter.java:74)
	at org.hibernate.exception.JDBCExceptionHelper.convert(JDBCExceptionHelper.java:43)
	at org.hibernate.exception.JDBCExceptionHelper.convert(JDBCExceptionHelper.java:29)
	at org.hibernate.jdbc.ConnectionManager.openConnection(ConnectionManager.java:426)
	at org.hibernate.jdbc.ConnectionManager.getConnection(ConnectionManager.java:144)
	at org.hibernate.jdbc.AbstractBatcher.prepareQueryStatement(AbstractBatcher.java:139)
	at org.hibernate.loader.Loader.prepareQueryStatement(Loader.java:1547)
	at org.hibernate.loader.Loader.doQuery(Loader.java:673)
	at org.hibernate.loader.Loader.doQueryAndInitializeNonLazyCollections(Loader.java:236)
	at org.hibernate.loader.Loader.doList(Loader.java:2220)
	at org.hibernate.loader.Loader.listIgnoreQueryCache(Loader.java:2104)
	at org.hibernate.loader.Loader.list(Loader.java:2099)
	at org.hibernate.loader.criteria.CriteriaLoader.list(CriteriaLoader.java:94)
	at org.hibernate.impl.SessionImpl.list(SessionImpl.java:1569)
	at org.hibernate.impl.CriteriaImpl.list(CriteriaImpl.java:283)
	at org.springframework.orm.hibernate3.HibernateTemplate$35.doInHibernate(HibernateTemplate.java:981)
	at org.springframework.orm.hibernate3.HibernateTemplate.execute(HibernateTemplate.java:369)
	at org.springframework.orm.hibernate3.HibernateTemplate.findByCriteria(HibernateTemplate.java:971)
	at org.springframework.orm.hibernate3.HibernateTemplate.findByCriteria(HibernateTemplate.java:964)

qqn a une petite idée?

[JeitEmgie]

maintenant j'ai une autre exception,

au mileu de ma boucle de recherche, et pas à la premiere requete.


qqn a une petite idée?

vous ouvrez des connections qui ne sont jamais refermées et vous épuisez votre quota ?

si vous avez des paramètres de nombre de connections autorisées : changez-le (de manière "spectaculaire") pour observer le résultat...
si rien ne change => c'est autre chose…
sinon revoyez votre logique de connection/session/transaction…

(attention : si c'est un problème de nombre de connections autorisées, cela peut-être aussi bien côté client que serveur…)

[Sniper37]

je vais utiliser le pool de connexion

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

com.mchange.v2.c3p0.ComboPooledDataSource

j'ai juste un problèmle avec le driver sql server qui ne fonctionne pas avec cette DataSource..

je continu à regarder..

[Sniper37]

je voulais utiliser le pool de connexion C3P0 , mais apparement il n'arrive ouvrir une connexion avec le driver sql server, avant ça marchait bien.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
 
Caused by: 
org.hibernate.exception.JDBCConnectionException: Cannot open connection
	at org.hibernate.exception.SQLStateConverter.convert(SQLStateConverter.java:74)
	at org.hibernate.exception.JDBCExceptionHelper.convert(JDBCExceptionHelper.java:43)
	at org.hibernate.exception.JDBCExceptionHelper.convert(JDBCExceptionHelper.java:29)
...
caused by: java.sql.SQLException: No suitable driver
	at java.sql.DriverManager.getDriver(Unknown Source)
	at com.mchange.v2.c3p0.DriverManagerDataSource.driver(DriverManagerDataSource.java:224)
	at com.mchange.v2.c3p0.DriverManagerDataSource.getConnection(DriverManagerDataSource.java:120)

j'ai loupé qq chose dans la config de hibernate et spring...? ou juste un probleme de C3P0..?

merciii

[Sniper37]

j'ai toujours le problème de outOfMemory meme avec le pool de connexion C3P0..

[the-gtm]

Fait voir ton code parce que je dirais que tu ne ferme pas les connections que tu ouvres et du coup beaucoup de données restent en mémoire

[Sniper37]

j'utilise Spring ..je n'ouvre pas de connexion dans mon code..

[denisjava]

et ben commence par virer spring et gère la session à la main...
Quand ca marchera, tu remettras spring...

1000 objets en session c'est pas énorme... a mon avis, tu utilises mal spring, et tu crée une nouvelle session a chaque fois que tu fais une lecture => il pioche dan sle pool de connexion a chaque fois et donc il le vide (le pool)... et a chaque session il remappe des objets qu'il avait précédemment chargé dans les sessions précédentes d'ou le outofmemory... enfin , c'est une hypothèse.

A la limite fait un test unitaire (un main() ) qui;

initialise SessionFactory
ouvre une session (avec getCurrentSession())
Demarrer une transaction

Faire toutes operation de lecture nécessaires.


commiter tx
fermer session
fermer sessionFactory


et dit nous ce que ca donne...

Mon feeling: le pb ne vient pas d'hibernate mais plutot à l'usage que Spring en fait et donc à l'usage que tu fais de spring...

j'utilise Spring ..je n'ouvre pas de connexion dans mon code..

[Sniper37]

j'explique ce que je fais..je vais essayé de le faire autrement mais voilà ce qui cause le outOfMemory:

dans la partie web, hors session hibernate ..

- je prend des paramètres saisis par l'utilisateur
- premieres requete hibernate--> une liste (maListe) d'une centaine de lignes;
- un peu de traitement métier, récuperations de quelques infos ..
- un boucle sur maListe, et pour chaque element une autre requete qui recupere une liste de 1000 à + 10000 elements..

donc pour chaque passage dans la boucle une session est ouverte et refermé après..
peut etre il est mieux de faire tous le traitement dans la meme session..

[Sniper37]

les requetes ne se faisaient pas dans la meme session;

maintenant, j'utilise que hibernate, je passe la session de la premiere requete en parametre de la fonction qui réalise la deuxème et je 'flush' la session..
je n'ai pas d'outOfMemory..le résulta donne une Liste de 179100 elements, je ne sais pas si c'est la bonne méthode..