Discussion :

[vinzzzz]

Hello,

J'ai une application qui doit gérer des objets représentent des cellules dans un espace multi-dimentionnel. Lors du traitement principal, je vais boucler sur des donnés en entrées (plusieurs dizaines de millions), calculer les coordonnées de la cellule à laquelle appartient l'objet, récupérer cette cellule et mettre à jours ses variables d'instances suivant certaines règles.

Problème: le nombre de cellule en jeux est trop important pour être stocké en mémoire. Il me faut donc un moyen de persistance efficace pour éviter d'exploser la mémoire tout en ne ralentissant pas trop les traitmeents. Je vois deux approches possibles:

• Un système de cache, comme Ehcache ou JCS de apache
• Une base de données embarquée type HSQLDB...

Tout retour d'expérience sur ce genre de problématique sera le bienvenu!
Merci d'avance

[dinobogan]

Sans plus d'info, difficile d'affiner les pistes que tu proposes.
Selon les traitements à effectuer, la lecture ligne à ligne d'un simple fichier plat pourrait faire l'affaire.

[vinzzzz]

Désolé pour le manque de détail!

Par exemple: pour un objet en input, je calcule les coordonnées de la cellule à laquelle il doit être assignée. Une fois fait, je dois récupérer l'objet Cellule, en utilisant ses coordonnées pour générer un identifiant:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
int [] cellCoords = getCellCoordsForInput(inputObject);
Cell cell = cellStore.get(coords2CellIdentifier(cellCoords));

Donc en gros, il me faut une approche fonctionnant comme une HashMap mais qui permettrait de stocker les objets sur le disque lorsqu'il y en a trop en mémoire.

Je ne comprends pas ta suggestion du coup ?

[dinobogan]

Je ne comprends pas ta suggestion du coup ?

Tu n'avais donné aucune info, j'ai écris ce qui me passait par la tête ;-)
La base de données me semble à priori le plus adapté. Si la volumétrie est gigantesque, une base NoSQL est très efficace pour une utilisation de type "Hashtable".

[professeur shadoko]

quelqu'un a une bonne librairie de fichier à accès direct?
(je veux dire sans qu'on soit obliger de se contorsionner pour créer des simili-structs de taille fixe?)

[benratti]

ehcache permet de gerer le stockage sur disque, et non seulement en mémoire http://ehcache.org/documentation/use...torage-options

Il y a deux fonctionnements, donc un en mode swap, qui pourrait correspondre à ton besoin.

ehcache fonctionne comme une hashmap (association clé/valeur), donc très simple à mettre en oeuvre. Je l'ai mis en place couplé avec Spring, et cela se concrétisait par la mise en place d'un annotation devant les méthodes devant être mise en cache, et un fichier de conf, donc super simple.