Discussion :

[salem_b_a]

framework et technologies utilisés :
MYSQL 6 > Lucene > Hibernate > Spring > BlazeDS > Flex
Serveur Web : Apache Tomcat 6
Taille d'un enregistrement A : < 2ko
Schéma des données : A 1---* B
Tailles des index Lucene: 500 Mo
Nombre d'enregistrements dans la table cible: 1,2 Million
Problème:
Je suis en train de récupérer les enregistrements de la bases par dix. La navigation dans les résultats se fait avec un ToggleButtonBar. Au bout de quelques requête une première erreur se déclenche:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
[BlazeDS]Java heap space
java.lang.OutOfMemoryError: Java heap space
	at com.mysql.jdbc.Buffer.getBytes(Buffer.java:198)
	at com.mysql.jdbc.Buffer.readLenByteArray(Buffer.java:318)
	at com.mysql.jdbc.MysqlIO.nextRow(MysqlIO.java:1375)
	at com.mysql.jdbc.MysqlIO.readSingleRowSet(MysqlIO.java:2369)
	at com.mysql.jdbc.MysqlIO.getResultSet(MysqlIO.java:451)
	at com.mysql.jdbc.MysqlIO.readResultsForQueryOrUpdate(MysqlIO.java:2076)
	at com.mysql.jdbc.MysqlIO.readAllResults(MysqlIO.java:1451)
	at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:1787)
	at com.mysql.jdbc.Connection.execSQL(Connection.java:3283)
	at com.mysql.jdbc.PreparedStatement.executeInternal(PreparedStatement.java:1332)
	at com.mysql.jdbc.PreparedStatement.executeQuery(PreparedStatement.java:1467)
	at org.hibernate.jdbc.AbstractBatcher.getResultSet(AbstractBatcher.java:208)
....

et l'application se plante, ensuite une deuxième erreur se déclenche:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
[BlazeDS]null
java.lang.StackOverflowError
	at org.apache.log4j.Category.callAppenders(Category.java:215)
	at org.apache.log4j.Category.forcedLog(Category.java:391)
	at org.apache.log4j.Category.log(Category.java:856)
	at org.slf4j.impl.Log4jLoggerAdapter.debug(Log4jLoggerAdapter.java:173)
	at org.hibernate.jdbc.AbstractBatcher.logOpenPreparedStatement(AbstractBatcher.java:410)
	at org.hibernate.jdbc.AbstractBatcher.prepareQueryStatement(AbstractBatcher.java:160)
	at org.hibernate.loader.Loader.prepareQueryStatement(Loader.java:1573)
	at org.hibernate.loader.Loader.doQuery(Loader.java:696)
	at org.hibernate.loader.Loader.doQueryAndInitializeNonLazyCollections(Loader.java:259)
	at org.hibernate.loader.Loader.loadCollection(Loader.java:2015)

J'ai fait analysé l'application avec la console d'administration de BlazeDS et voici ce que j'obtient:
http://img268.imageshack.us/img268/9...oughoutput.png
ensuite
http://img3.imageshack.us/img3/4137/throughoutput2.png
les deux courbe décrivent l'AMFThroughoutput.

Sachant que si je fais les mm requêtes au dessous de BlazeDs en utilisant JUnit tests tout marche bien avec un temps de reponse de 0.26s !

Merci de bien vouloir m'indiquer par ou aller ^^' !

[Krazymins]

Quand tu testes avec Junit Test tu réussis récupérer les 1,2 Million d'enregistrements ?
Visiblement la capacité de mémoire est largement explosée

[jylaxx]

C'est toi qui gère la pagination ou bien c'est l'un de tes frameworks () ?

Visiblement les résultats des requêtes s'empilent en mémoire et ne sont jamais libérés. Tu finis par atteindre la limite de la JVM.

En ce qui me concerne, difficile d'en dire plus avec les informations fournies.

[salem_b_a]

Merci pour vos très rapide reponse
Lors des tests JUnits j'essaie de retracer les requêtes que j'ai fait à partir de Flex, l'application déclenche l'erreur après quelques requêtes , donc je fait un appel explicites des ces instructions pour voir si j'ai le même comportement! hélas, tous se passe bien avec JUnit. Je ne récupère pas les 1,2M mais je fait 20 requêtes par exemple qui récupère 10 enregistrements chacune

Voici ma façon de faire la pagination avec lucene:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
//numPage: le numero de la page de résultat
list = fullTextQuery.setFirstResult(numPage * 10).setMaxResults(10)
					.setFetchSize(10).list();

pour appeler ça depuis flex je fait:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

MonRemoteObject.getResultPage(numeroDeLaPage, ObjetARetrouver)

Dites moi si je peux vous donnez d'autres détails, c seulement parceque le projets est assez grand que je ne sait pas par ou commencer!!!

[jylaxx]

Tu as vérifié que le numéro de page était correct ?

[salem_b_a]

Je teste avec un critère spécifique, je suis sure qu'il retourne plus que 10000 résultats en total, ce qui fait 1000 pages. ça me suffit pour les tests!
En fait, je continue à tester et je crois que ça dépends étroitement des index!
Lorsque je lance l'indexation des entités B, un java heap space se déclenche!
Je vous mets à jours si j'ai du nouveau