Discussion :

[mobscene]

Bonjour je suis étudiant et pour l'année prochaine ont doit tous mettre sur pied un projet X ou Y des amies et moi avons déçidé de mettre au point un moteur de recherche d'assez grande envergure c'est pour cela qu'on commence maintenant . Nous voudrions avoir vos avis la dessus.

Nous avons pensé a une architecture de ce type :



merci de vos avis

[piotr]

salut,
moi je cherche à créer un moteur de recherche à partir d'un ensemble déjà connu de sites: c dur à faire?

[pospos]

la partie la plus gourmande sera surement l'indexation (et tu peu oublier les bases de donnée SQL pour ca: c'est bon pour faire joujou mais ca vaut iren en indexation fulltext)
Je te conseil de regarder Kinosearch (moteur d'indexation, mais c'està toit de crawler et d'extraire le texte)
Et puis jette aussi un coup d'oeil à Nucth (java, basé sur lucene) pour avoir une idée de l'architecture à adopter.
En gros ton systeme ddevrait faire la meme chose au dessus de Kinosearch que Nutch fait au dessus de lucene.

sinon comme autre moteur d'indexation accessible en Perl tu a CLucene, Xapian.
Je te deconseil Plucene (affreusement lent) et Swish-e (non incremental, du moins pas de maniere native)

[Jedai]

A quel étape sont rempli les BDD ? Et que comptez vous indexer exactement ?

--
Jedaï

[piotr]

quelqu'un a de la doc sur la création d'un moteur de recherche?
en gros j'ai une liste de sites qui m'intéresse et je souhaiterais pouvoir faire des requêtes par rapport à des mots clefs

[mobscene]

A quel étape sont rempli les BDD ? Et que comptez vous indexer exactement ?

--
Jedaï

Ce graphique ne représente que la partie recherche !!!! pour ce qui est de l'indexation ont vas tous simplement lacher notre robot sur Dmoz, et indexer 5 millions de pages

[mobscene]

Pour ce qui est du robot au début ont avais tabler pour LWP:arallel::UserAgent mais vue la consommation mémoire hallucinante du module on a décidé d'utiliser POE

[pospos]

je me repete, mais la partie la plus importante est la partie indexation. Si vous comptez utiliser une RDBM pour faire ca vous irez pas tres loin (à moins de depnser des fortunes dans du matos)