Discussion :

[Tlams]

Bonjour,

J'ai une liste de plus de 4Millions de titres de documents (type "jesuisdocument1", "etmoiunautredoc" ...).
En texte, cette liste fait environ 100mo.

J'aimerais faire un système de recherche dans cette liste.

Niveau langage je travaille en PHP, python et bash.
J'ai aussi la possibilité de mettre de l'ES/Mongo... bref, pas trop de restriction.

Le plus simple de mon point de vu étant de monter la liste en mémoire (php) et faire une recherche dessus via "similar_text", mais j'ai des doutes sur les performance.
Monter un mongodb/es juste pour les fonctions de recherche basique, me semble surdimensionné.

Quelqu'un aurait déjà effectué des tests de performance pour ce genre de cas?

Merci !

[Tlams]

Je vois que la question n'a pas inspiré beaucoup de monde :p

Je vais donc y répondre après pas mal de tests.
Donc pour rappel du sujet: l'indexation de plus de 4Million de titres de documents, avec si possible un système de recherche.

J'ai essayé les méthodes suivantes:
- Redis (pas de recherche)
- Python
- Shell (wrapper grep)
- Mongodb


Concernant Redis, l'impact mémoire a rapidement été énorme. Il m'a consommé environ 1G pour 100k documents.
Clairement, j'avais pas 40G de mémoire à lui fournir. Peut-être que je l'utilise mal.

Pour Python, l'idée était simple: charger tous les fichiers en mémoire et exécuter des fonctions de recherche.
ça fonctionne mais c'est pas performant et gourmand en ressource CPU.

Shell: Pourquoi pas simplement utiliser grep ? Parfois la solution la plus simple est aussi la meilleure.
Les temps de réponses étaient meilleurs que le programme python, mais toujours longs.

MongoDB: J'ai changé le format pour du JSON, histoire qu'il puisse être importé sur MongoDB. Les 4millions de documents importés, MongoDB utilise à peine 800mo de mémoire, et grâce aux index le retour de résultat est juste... parfait.

Query Performance Summary

Documents Returned:1
Index Keys Examined:1
Documents Examined:1
Actual Query Execution Time (ms):0
Sorted in Memory:no

Le gagnant est donc MongoDB !