Discussion :

[mobscene]

Bonjour je suis étudiant et pour l'année prochaine ont doit tous mettre sur pied un projet X ou Y des amies et moi avons déçidé de mettre au point un moteur de recherche d'assez grande envergure c'est pour cela qu'on commence maintenant . Nous voudrions avoir vos avis la dessus.

Nous avons pensé a une architecture de ce type :



merci de vos avis

[piotr]

salut,
moi je cherche à créer un moteur de recherche à partir d'un ensemble déjà connu de sites: c dur à faire?

[pospos]

la partie la plus gourmande sera surement l'indexation (et tu peu oublier les bases de donnée SQL pour ca: c'est bon pour faire joujou mais ca vaut iren en indexation fulltext)
Je te conseil de regarder Kinosearch (moteur d'indexation, mais c'està toit de crawler et d'extraire le texte)
Et puis jette aussi un coup d'oeil à Nucth (java, basé sur lucene) pour avoir une idée de l'architecture à adopter.
En gros ton systeme ddevrait faire la meme chose au dessus de Kinosearch que Nutch fait au dessus de lucene.

sinon comme autre moteur d'indexation accessible en Perl tu a CLucene, Xapian.
Je te deconseil Plucene (affreusement lent) et Swish-e (non incremental, du moins pas de maniere native)

[Jedai]

A quel étape sont rempli les BDD ? Et que comptez vous indexer exactement ?

--
Jedaï

[piotr]

quelqu'un a de la doc sur la création d'un moteur de recherche?
en gros j'ai une liste de sites qui m'intéresse et je souhaiterais pouvoir faire des requêtes par rapport à des mots clefs

[mobscene]

A quel étape sont rempli les BDD ? Et que comptez vous indexer exactement ?

--
Jedaï

Ce graphique ne représente que la partie recherche !!!! pour ce qui est de l'indexation ont vas tous simplement lacher notre robot sur Dmoz, et indexer 5 millions de pages

[mobscene]

Pour ce qui est du robot au début ont avais tabler pour LWP:arallel::UserAgent mais vue la consommation mémoire hallucinante du module on a décidé d'utiliser POE

[pospos]

je me repete, mais la partie la plus importante est la partie indexation. Si vous comptez utiliser une RDBM pour faire ca vous irez pas tres loin (à moins de depnser des fortunes dans du matos)

[mobscene]

Oui oui Pospos on étudie Kinosearch en ce moment , pour ce qui est du robot la seul difficulté que je rencontre ( le bot c'est mon taf ) c'est l'utilisation de HTTP::Headers dans POE je voudrais implementer cela

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
my $headers = HTTP::Headers->new(
    Accept => [qw(
                  text/html
                  application/xhtml+xml
                  application/x-javascript
                  application/x-httpd-php
                  application/asp
                  text/xml
              )]
  );

On ne commencera pas l'indexation avant d'avoir fini le robot et surtout compris le fonctionnement de Kinosearch

[pospos]

je ne connais pas bien POE, mais si tu a acces à une HTTP::Request alors tu peux y mettre ton HTTP::Headers sans probleme

[mobscene]

J'ai réussie a mettre mes headers car POE utilise HTTP::Request::Common comme ceci
HTTP::Request::Common qw(GET);

donc pour mettre mes headers sa a été façile j'ai tout simplement fait

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$kernel->post( ua => request => got_response => GET( $url, $headers) );

[pospos]

si c'est pas indiscret, vous faites ca dans quel cadre? projet de fin d'etude? but commercial?
meme question pour piotr

[mobscene]

C'est pour les études, l'an prochain on aura un projet a présenté en fin d'année et nos avons choisit de faire un moteur de recherche du coup ont commence tôt, si il marche bien ont le mettra sans doute sur CPAN ou SourceForge

[scaleo]

Mon post http://www.developpez.net/forums/sho...=180769&page=2 devrais t'intéresser

[piotr]

salut,

je suis débutant en perl, au niveau du moteur de recherche, le but serait pour moi de faire un moteur qui ciblerait mes centres d'intérêts. Plutôt que de parcourir une liste de site placé dans mes favoris sous IE afin d'accéder à une information, je lancerais mon moteur qui aurait en entrée ma liste de site. par exemple, si j'ai besoin d'un nouveau ventilateur pour ma bécane, je tape par ex "SDRAM PC133" et j'ai en sortie une proposition de liens.
en fait c'est un mini projet par lequel je vais pouvoir progresser en PERL. en général j'apprend un nouveau langage soit en programant des jeux, ou bien en faisant un mini projet, c plus pratique je trouve

si c'est pas indiscret, vous faites ca dans quel cadre? projet de fin d'etude? but commercial?
meme question pour piotr