Indexation multi thread

Bonjour,

Dans le cadre d'un projet, je dois réaliser un module d'indexation multi-thread qui associe à des mots une liste d'objets.

J'ai donc fait un module qui pour chaque mot associe un répertoire et un fichier contenant une liste d'objets.
Je trouve cette méthode peu efficace puisque si je traite par exemple 50 documents, je me retrouve à devoir ouvrir, lire, écrire et fermer plus de 5000 fichiers.

Du coup, comment faire plus efficacement ? En sachant qu'il y aura un gros volume de fichiers à traiter donc impossible de tout garder en mémoire.