[Stratégie] Manipulation d'un grand nombre d'objet

Version imprimable

09/05/2006, 10h03
Aldouille31

[Stratégie] Manipulation d'un grand nombre d'objet

Bonjour à tous,

Je dois maintenir une application JAVA/JDBC. Après l'avoir testée j'ai rencontré deux gros problèmes :
1/ L'appli est longue à réagir aux évènements générés par l'utilisateur (elle rame en gros),
2/ Le temps de sauvegarde (suivant le nombre de données à sauvegardée) peut durer jusqu'à 2 heures.

La cause principale donc est le nombre de données donc d'objet à gérer. En effet j'ai en moyenne 120 000 objets en mémoire et chacun de ces objets est dans une HashMap. Chacun de ces objets peut être en relation avec tous les autres donc on arrive à la fin à un graphe énorme.

Tous ces objets sont affichés dans l'application sous forme de liste et en cliquant sur un objet on peut obtenir toutes les relations de cet objet.
Pour la sauvegarde en base de données l'application prend chaque objet et pour chaque objet regarde ces relations puis envoie ces relations à la base de données.

Pour la sauvegarde, une des solutions envisagées serait de mettre dans une liste toute les requêtes et ensuite de tout envoyé en bloc à la base.
Est-ce que ça serait plus efficace que d'envoyer petit bout par petit bout.

Ensuite je pense que la structure de données actuelle n'est pas adapté. Il faudrait peut être passer par une matrice ou autres.

Voila donc en fait j'aimerai savoir si vous aviez déjà rencontré ce genre de situation et si oui quel stratégie vous avez adopté.

Merci d'avance
09/05/2006, 10h56
zoullou

Salut,

Si j'ai bien compris, en gros, lorsque tu lance ton prog, tu charge toute ta base de donnée dans ton prog ?
Si c'est bien ça, je pense que le mieux est d'extraire et de sauvegarder en temps réel les informations dont tu a besoin afin d'étaller la charge du programme sur la durée d'utilisation de celui-ci.

A+
09/05/2006, 11h13
Aldouille31

Merci

En gros c'est ça.

Le problème avec cette solution c'est que ça ne changera pas le fait que la navigation dans l'application rame. Je pense plutôt faire tomber l'architecture de l'appli pour pouvoir mettre un structure de données pouvant modéliser un graphe.
09/05/2006, 11h18
zoullou

Aprés c'est sur que si ton appli est trés gourmande en ressources, il faut adapté la machine :lol:
09/05/2006, 11h27
Aldouille31

Ben en fait j'ai poussé la mémoire utilisé de l'application jusqu'à 1024 MO, et ça change pas grand chose.
09/05/2006, 17h51
bob33

Salut
Personnellement, pour ton problème de sauvegarde, je te conseille de jeter un conseil vers les fonctions addBatch() et executeBAtch() de java.sql.Statement qui vont te permettre de faire du traitement par lot.
C'est à mon avis beaucoupl plus efficace que de faire des traitements unitaires....
09/05/2006, 19h09
BugFactory

Citation:

Envoyé par zoullou

Salut,

Si j'ai bien compris, en gros, lorsque tu lance ton prog, tu charge toute ta base de donnée dans ton prog ?
Si c'est bien ça, je pense que le mieux est d'extraire et de sauvegarder en temps réel les informations dont tu a besoin afin d'étaller la charge du programme sur la durée d'utilisation de celui-ci.

A+

+1

Et si, ça devrait aussi accélérer la navigation puisque la mémoire virtuelle ne sera plus utilisée.
10/05/2006, 10h59
rmartins

Citation:

Envoyé par Aldouille31

La cause principale donc est le nombre de données donc d'objet à gérer. En effet j'ai en moyenne 120 000 objets en mémoire et chacun de ces objets est dans une HashMap. Chacun de ces objets peut être en relation avec tous les autres donc on arrive à la fin à un graphe énorme.

Je ne connais pas ta structure actuelle et donc ce que je propose n'est pas adapté, mais est-ce que un systéme de cache ne serait pas plus adapté que d'avoir le tout en mémoire. Ceci est un exemple simple d'un manager de cache http://www.developer.com/java/other/article.php/630481 sinon il existe des lib comme ehCache http://ehcache.sourceforge.net/
10/05/2006, 13h01
Aldouille31

Merci à tous de vos réponses

Je vais essayer en effet de mettre toutes les requêtes dans un batch et de l'exécuter ensuite. A mon avis ça devrait déjà améliorer le temps de sauvegarde.