Robot référenceur

bonjours
je mexcuse déjà si je l'ai poste dans la mauvaise catégorie :aie:
j'aimerais savoir comment prendre l'url d'un site et enregistre tout les url qui a sur se site et l'envoyer dans ma base de données ( pour remplir mon moteur de recherche ).
Après si cela est toujours possible :s prendre un site au hasard dans la table ( avec rand c'est possible je pense ) et faire ce qui est décrit si dessus.
je ne veut pas de code tout fait mais plutôt des tutos ou des morceaux de code .

ps: ci c'est possible j'aimerai plutôt le faire ne php.

merci de me répondre schats

ca s'appelle un crawler :)

Ce genre de projets est faisable mais devient délicat selon tes objectifs. Car crawler le web n'est pas une mince affaire !

Une idée serait de prendre une page d'un site (avec foskopen par exemple), de la parcourir pour rechercher tous les liens "<a></a>" et d'en extraire la cible à l'aide d'une expression régulière.
Chaque nouveau lien sera enregistré en bdd en lien interne ou lien externe selon le cas si tu ne l'as pas déjà trouvé / enregistré (pour éviter les doublons).

Ensuite tu prends un lien externe au hasard trouvé dans ta base de données ainsi crée et tu réeffectues la meme opération.

Tu as un outil relativmenet accéssible qui s'appelle sphider dont tu peux regarder la source (pas trop grosse) et t'en inspirer.

Il existe aussi l'excellent utilitaire linux wget, qui peut être appelé depuis un script PHP et qui dispose d'options de crawl assez avancées.

Citation:

---

Envoyé par Mogwaï

Il existe aussi l'excellent utilitaire linux wget, qui peut être appelé depuis un script PHP et qui dispose d'options de crawl assez avancées.

---

euh je n'ai pas linux ...bon je ne peu pas le faire :s

Citation:

---

Tu as un outil relativmenet accéssible qui s'appelle sphider dont tu peux regarder la source (pas trop grosse) et t'en inspirer.

---

je vais regarder pour la fonction .
euh sa ne serait pas spider .... enfin je vais aussi regarder .

merci de votre réponse

bonjours jai regarder la fonction foskopen
mais il faut maitriser les stoket et il me semble qu'il ne génère pas les url peu être avec une fonction du style preg_replace ( je sais que c'est pas celle la :p)
par contre le spider je n'arrive pas a trouver un exemple :d