Discussion :

[lechewal]

Salut !

j'aimerai stocker le contenu d'un fichier afin d'effectuer des requetes dessus (par exemple, est ce que le fichier contient toto et titi ou tutu, etc..)

le truc se fait en deux fois :
premiere partie, on creer un nouveau fichier index a partir du fichier texte
seconde partie, on renvoie le resultat des requetes a partir du fichier index


Au début, je voulais creer une table de hachage qui contient en clé le mot, et en valeur une liste de numero de ligne ou il apparait, en parsant mot a mot le fichier texte.

Probleme, en Java, le tas explose.

J'ai tenté en creer une redirection, cad une table de hachage differente pour chaque premiere lettre des mots (genre une table pour les mots qui commencent par a, ...)

mais bon, apparement, il y a toujours autant de mots stockés dans ca explose pareil.

j'ai encore vaguement une idée qui serait de parser le fichier texte petit a petit, en mettant dans un table et en ecrivant dans le fichier, puis liberer la table et parser a la suite, etc..
probleme, on risque de se retrouver avec plusieurs entrées identiques dans le fichier index final..
et de toute facon, il faudra surement creer une nouvelle table de hachage a partir du fichier index pour effectuer les requetes..

bref, chuis bloqué

a+

[gorgonite]

j'avais fait un truc de ce type en cours de "moteurs de recherche"... si ça t'intéresse, je peux de mailer tout le projet

[Graffito]

Bonjour,

Avant de rentrer dans la structure de l'index, Il me semble qu'il y a un souci à ce niveau-là :

Probleme, en Java, le tas explose.

On travaille plus comme dans les années 80 avec 64K de RAM.
Avant d'atteindre les limitations du tas JAVA, il faudrait des textes de plusieurs dizaines de MégaOctets.

Ce problème de taille de tas ne devrait donc pas se produire (à résoudre en priorité).