grande quantité de textes, problème de mémoire, API SGDB native?

Bonjour,

je dois travailler avec une grande quantité de documents textuels, que je stocke dans mon programme écrit en java au moyen de 2 classes:

Corpus, qui représente l'ensemble des documents, et ne contient pas grand chose de plus qu'un vecteur de Documents
Document, qui représente un document et qui contient deux champs: id et text

les documents que j'importe sont répartis dans un ensemble de fichiers zip contenant chacun des fichiers XML. Donc j'utilise la classe ZipFile pour dézipper et créer un InputStream de chac fichier contenu dans l'archive, cet InputStream est alors analysée grâce à un parser SAX. A chaque fichier un nouveau document est créé et a jouté au corpus.

Le problème c'est qu'après environ 17000 documents mon programme s'arrête et me signale un java.lang.outOfMemoryError. A ce moment, le programme prend à peut près 100Mb en mémoire, et le nombre de charactères stockés est à peut près de 24,6 millions. A la base, le programme, quoique très simple, prend 25Mb en mémoire (lancé à partir d'eclipse, et je regarde l'évolution du programme javaw.exe, car c'est celui qui commence à grossir lorsque je clique sur importer les documents).

J'ai ajouté un System.gc() après chaque lecture de fichier zip, mais cela ne change rien, et j'ai lu sur Internet que ça n'était même pas certain que cela puisse fonctionner.

Première question: quelle est la quantité maximale de mémoire que java peut utiliser?

Je voudrais donc être en mesure d'importer tous mes documents (qui à la base tiennent sur 2 CD). Je me rend compte qu'il me faut créer une base de données. Mais j'aimerais que mon programme soit facilement portable, donc je cherche une API de gestion de base de données SANS SERVEUR, et écrite en Java (pas besoin de dll sous windows ou d'installer un package sous linux). Un peu à la SQLite sauf que SQLite requiert l'installation d'un composant sur le système.

Quelqu'un a une idée?

bonjour

Pour ce qui est de la mémoire de la jvm elle est limitée par rapport a la mémoire disponible sur la machine ! pour la changer tu as deux paramètres -Xms64M (taille minimum au démarrage) -Xmx512M (taille maximum en cours de traitement). 64 et 512 étant des exemples a remplacer par les bonnes valeurs.

Si toutefois tu as besoins d'une base de données embarquée je te conseil H2 qui est une base écrite en java et utilisable via jdbc.

merci, ça a l'air pas mal. Entre temps j'avais trouvé BerkeleyDB, mais c'est pas plus mal si je peux changer de JDBC en cours de route.

merci encore :)

Plusieurs remarques...

1. On ne change pas de JDBC : JDBC est un connecteur générique aux bases de données. Donc, tu peux changer le SGBC derrière JDBC, mais pas JDBC.
2. Il existe entre autres comme DB embarquée : SQLite et HSQ. D'autres existent, bien entendu, mais celles-ci sont les plus répandues dans le monde Java.
3. Si ta mémoire prend tant de place, n'utiliserais-tu pas un répertoire temporaire de la machine pour y stocker tes documents ? File.createTempDir() et File.deleteOnExit() existen pour cela. Java s'assure alors que le répertoire soit bien supprimé à la fermeture de la machine virtuelle.
4. Si ta mémoire prend tant de place, t'assures-tu de bien flusher tous les documents quand nécessaire ? As-tu réellement besoin de tous les garder en mémoire ? Ne ferais-tu pas un système qui vide complètement un document de la mémoire et qui n'y accède que lorsque c'est réellement nécessaire ?

Avec 128Mo de mémoire alloués par Java, tu devrais t'en sortir, je crois. Vraiment rares sont les applications qui ont réellement besoin de davantage.