Version imprimable
Bonjour a tous ,
Voila je voudrais developper un programme en java qui fonctionnera comme les robots de google , yahoo ... c'est a dire qu'ils parcourrent les sites de lien en lien .
Je voudrais savoir où trouver des informations sur comment m'y prendre ( stoquer tout les liens ou ... ) ou s'il y avait deja des biblioteques disponibles .
Merci d'avance :mrgreen:
Pas trop de choix, Wikipedia ==> Crawler ==> Plusieurs Robot OPEN SOURCE disponibles, mais il faut savoir que c'est un vrai casse-tête ce truc là, pour la plupart des gens qui rêvent, de mettre leur propre moteur de recherche, et faire de la concurrence à Google, ils pensent juste au crawler, mais ils oublient la base de données, où stocker toutes ces données, comment chercher dans ces données et trouver ce qu'on cherche en pas plus de quelques fragmentes de seconde!
Hé, si tu n'est pas supporté par une équipe bien confirmée, avec un bon budget, et que cette équipe est prête à travailler 25h/24!!!!! TU OUBLIE IMMEDIATEMENT!
voilà,
Si c'est pour créer un moteur de recherche (tel qu'on l'entend, c'est à dire Google & co), plutôt que de tout refaire soit même, tu peux passer par exemple par l'api BOSS de Yahoo qui est pas mal à priori.