Travail sur disque au lieu de mémoire

Bonjour,
Mon programme java travaille avec une structure de type Hashtable (pour le moment). Les objets sont tous du même type mais n'ont pas la même taille.
Je dois faire des insertions (uniquement en fin de liste) et des modifications (n'importe où dans ma liste).
Pour certaines raisons je ne peux plus travailler avec cette structure en mémoire (à cause de sa taille notamment), et je cherche donc un moyen de travailler sur disque avec les mêmes contraintes : ajout en fin de liste et modification n'importe où. J'ai pensé travailler avec des random access files mais les objets stockés sont de taille variable, et les fichiers séquentiels j'y pense même pas niveau perf.
Donc si vous avez une idée qui me permettrait de bosser avec les avantages de ma hashtable mais sans la garder en mémoire ou pas totalement, je suis preneur.
Merci

Euh je sais pas si c'est une bonne idée mais tu pourrais créer ta propre Map et implémenter un stockage des value par serialization sur le disque.

Sur quel système travailles-tu? Ça me parait bizarre que tu aies des problèmes de mémoire en Java. Il me semble que la gestion de la mémoire est prise en charge par le système d'exploitation en cas de surcharge.

Citation:

---

Envoyé par muad'dib

Sur quel système travailles-tu? Ça me parait bizarre que tu aies des problèmes de mémoire en Java. Il me semble que la gestion de la mémoire est prise en charge par le système d'exploitation en cas de surcharge.

---

La OutOfMemoryException ne devrait pas exister alors ? ;) Ca serait trop beau.
Si tu travailles avec du volumes, la mémoire peut saturer, même si c'est du Java.
J'ai une appli de GED qui pour l'instant plante lorsqu'on ajoute dans le système un fichier de plus de 100Mo.

Je travaille sur du multiplateforme : unix solaris windows,..
Mon problème est un problème de heap space, et l'augmenter n'est pas une solution. C'est pour ça que je voulais travailler sur disque. Je ne peur pas non plus travailler avec des sous ensemble de ma structure parceque je dois y avoir acces en entier à tout moment

le plus simple ce serait pas d utiliser une base de donnée ?

Citation:

---

Envoyé par natha

La OutOfMemoryException ne devrait pas exister alors ?

---

Yes tu as raison. Il existe un argument de la JVM pour augmenter l'espace mémoire à utiliser non ?

Mais comme l'a dit HurtMarley c'est vrai que ce n'est pas une solution : la mémoire c'est comme les sous, c'est tarissable.

Je suis en train de développer une classe résolvant ton problème, tu peux t'en inspirer ou bien attendre que j'ai fini ( vu mon emploi du temps en ce moment, c'est pas encore pour tout de suite ).
Voici en gros comment je procède :
Je crée une classe Buffer qui contient :
- un lien sur le fichier d'origine et sa taille.
- une première liste L1 servant de buffer et qui va contenir tous les éléments insérés au fichier.
- une deuxième liste L2 qui va contenir les informations sur le texte après avoir subit les différentes modifications ( suppression, insertion, et remplacement qui n'est qu'une association des deux premières ).

L1 dans le cadre d'un fichier texte n'est qu'une ArrayList de String : seul le contenu ( String ) et sa position ( indexe ) sont utiles dans cette liste.

L2 : la meilleur solution que j'ai trouvée consiste à stoker les éléments sous forme séquetielle représentant au final le fichier modifier modifié.
Exemple :
[fichierOriginale - offset 10 à offset 1000 ] ( on remarquera une suppression de l'offset 0 à 9 ;) )
[buffer index 0 - caractère 0 à caractère 9 ] ( là c'est donc une insertion à l'offset 1001 ;) )
[fichierOriginal - offset 1001 à offset 9999 ] ( là c'est la fin du texte original )

L'intéret de cette structure est de pouvoir "flusher" le buffer au moment désiré : si sa taille est supérieure à une certaine limite, si l'on a fini de s'en servir etc.
De cette manière, lors du flux, le fichier original n'est recopié qu'une seule fois, limitant ainsi les accès disque. De plus la taille limite du buffer avant flush étant paramétrable, cela permet d'équilibrer charge mémoire et accès disque.

Bien sur, cette structure permet d'obtenir dynamiquement le contenu de fichier original AVEC modifications sans que celles-ci ne soient encore réellement appliquées.

Voilà.

EDIT : la base de données est une solution mais apporte elle aussi son lot de problèmes, pour n'en citer que qquns :
- performances liés aux temps d'accès à la base
- charge mémoire qui explose lors d'une requête récupérant énormément de résultats nécessitant d'être traités ensemble
- problèmes de synchronisation dans le cas d'accès multiples
etc.

La BD ce n'est pas possible dans mon cas
Merci de votre aide je vais essayer une solution du genre de celle de iohack.