Discussion :

[piotr]

Bonjour,

je souhaiterais savoir si les moteurs de recherche ont l'obligation de respecter le fichier robot.txt, ou bien il existe des moteurs passant outre ce fichier ( et lesquels)?
on m'a parlé de l'aspirateur httrack qui aspire un site web sans tenir compte du fichier robot.txt.
y a t il un problème de droit si un moteur de recherche référence un contenu normalement protégé?

merci de vos réponses

piotr

[sjrd]

Les moteurs de recherches n'ont aucunement l'obligation de suivre robots.txt. Tu ne dois pas protéger le contenu de ton site avec robots.txt, mais bien avec des .htaccess et autres sécurités de ce genre.
Le robots.txt c'est juste pour éviter aux robots qui le respectent de visiter pour rien des URL qui renvoient des erreurs 403 ou 401 parce qu'elles sont protégées.

[gorgonite]

il y avait un .htaccess qui reconnaissait quand la connexion venait d'un "robot", et qui l'envoyait bouler... au risque de se faire blacklister

sinon, il y a un système qui permet de faire des urls "cycliques" et le robot part dans des boucles infinies, et plante sans indexer ton site... mais les moteurs de recherche n'apprécient pas non plus

[piotr]

est-ce que quelqu'un aurait un tuto sur les moteurs de recherche et comment en programmer un?

[gorgonite]

est-ce que quelqu'un aurait un tuto sur les moteurs de recherche et comment en programmer un?

il y a des cours complets là-dessus... et plein de façon pour s'y prendre.
Que souhaites-tu exactement ?

[Marc Lussac]

En général les gentils crawlers (par exemple les moteurs de recherches) suivent le robot.txt et les méchant crawler (par exemple les aspirateurs d'emails en vue de spam) s'en tapent.