Moteur de recherche "tentaculaire"

[lysandre]

Un ami à eu une idée qui me semble très bonne, mais je ne sais pas si cela existe déja. Nous avons écrit un petite idée la-dessus:
http://www.idees-et-solutions.fr/idees.php?page=id142

Pour le fénéants du clic , voici le copier/collé du contenu de cette idée:

L'idée serait d'ajouter une fonctionnalité à un moteur de recherche pour pouvoir chercher des mots mais à partir d'une certaine page Internet, en parcourant tous les liens contenus dans cette page, tous les liens contenus dans les liens,...

Par exemple à partir de la page "www.toute-la-biblio-des-petites-betes.fr".
On pourrait chercher les mots "coccinelle puceron" et le moteur de recherche chercherait ces mots dans la page donnée, puis dans les pages qui sont en liens, disons "www.le-monde-des-bestioles.fr/bestioles.html" et "www.les-moyennement-petites-bêtes.com/page/coccinelle.html". Ces pages contiendraient à leur tour des liens, dans lequel le moteur de recherche irait aussi chercher, etc...
On pourrait définir un niveau de recherche, qui indiquerait le nombre de liens par lesquels passer. Par exemple si le niveau est 1, on chercherait dans "www.toute-la-biblio-des-petites-betes.fr", "www.le-monde-des-bestioles.fr/bestioles.html" et "www.les-moyennement-petites-bêtes.com/page/coccinelle.html" mais pas dans les liens contenus dans ces pages qui seraient de niveau 2.


Cela permettrai:

-De faire rapidement une recherche dans une longue liste de références contenues dans une page

-De faire une recherche à partir d'un site dont on sait qu'il est plus pertinent et en lequel on fait confiance



Nous précisons qu'il ne s'agit pas de chercher des mots dans les pages d'un même site, ce qui existe déjà sur Google (et sûrement sur d'autres moteurs de recherche).

Pouvez-vous me dire si ça existe ou sinon ce que vous en pensez?

[lysandre]

En fait ma question est "général web" mais pas trop "conception", désolé
J'ai tellement l'habitude de ce forum...

"Sécurité, faites-moi sortir ce gars immédiatement!"

[mathieugut]

Salut,

Il y a quelques temps j'ai fais quelques chose de semblable.

En utilisant vb.NET, le PHP et une Base de donnée.

C'est en fait un robot(partie VB) qui parcourt toutes les pages(à partir d'une page source) puis extrait tous les liens, les places dans une file d'attente, puis recommence automatiquement avec le suivant...

A chaque ouverture de page, j'apelle un script PHP qui va indexer la page avec ses mots clés... dans la base de donnée.

Votre idée un peu plus perfectionnée est bonne, à vous de la mettre en oeuvre

[lysandre]

Envoyé par mathieugut

Votre idée un peu plus perfectionnée est bonne, à vous de la mettre en oeuvre

Ce n'est pas vraiment mon idée a moi tout seul, un ami m'a donné l'idée de base et j'ai un peu amélioré.
Je suis déjà très pris par mon (notre) projet "Idées et Solutions", mais tes encouragements commencent à me faire réfléchir...

[mathieugut]

Le plus dur dans un projet c'est de le finir, donc avant de le commencer, recueille le maximum d'elements qui vont te permettre de ne pas rester bloqué quelquepart...

[lysandre]

Envoyé par mathieugut

Le plus dur dans un projet c'est de le finir, donc avant de le commencer, recueille le maximum d'elements qui vont te permettre de ne pas rester bloqué quelquepart...

Oui tu as raison.

A quoi t'as servi le vb.NET ? Personnellement je ne connais pas, ms il me semble après première réflexion que ca peut se faire en php...

[mathieugut]

Le Visual Basic m'a servi à créer le robot qui récupère tous les liens à partir d'une première page, puis le robot va visiter les liens automatiquement, récupère les liens de ces nouvelles pages...

A chaque fois qu'il fait un tour(une page), j'apelle une page PHP sur laquelle j'envois l'url de la page en cours... et là le PHP se charge de récupérer les balises metas...

[lysandre]

Il y a une raison particulière pour t'être servi du VB au lieu de php? Il me semble que ce que tu as fait en VB peut être fait en php non?

[mathieugut]

Beh en fait c'est carrement plus puissant et plus rapide que de faire boucler une application PHP (risque de fort de plantage...).

J'ai pris VB parceque je m'en sort avec sinon tu peux utiliser autre chose...
Puis je me suis servi de PHP pour la liaison avec la base de donnée et la récupération des balises meta des sites...

[lysandre]

Envoyé par mathieugut

Beh en fait c'est carrement plus puissant et plus rapide que de faire boucler une application PHP (risque de fort de plantage...).

J'ai pris VB parceque je m'en sort avec sinon tu peux utiliser autre chose...
Puis je me suis servi de PHP pour la liaison avec la base de donnée et la récupération des balises meta des sites...

C'est un peu ce que je me disais, la raison ne pouvait être que la rapidité...
Merci pour tes conseils & encouragements!