moteurs de recherche: obligation de respecter robot.txt?

piotr · 19/07/2006, 14h43

Bonjour,

je souhaiterais savoir si les moteurs de recherche ont l'obligation de respecter le fichier robot.txt, ou bien il existe des moteurs passant outre ce fichier ( et lesquels)?
on m'a parlé de l'aspirateur httrack qui aspire un site web sans tenir compte du fichier robot.txt.
y a t il un problème de droit si un moteur de recherche référence un contenu normalement protégé?

merci de vos réponses

piotr

sjrd · 19/07/2006, 17h43

Les moteurs de recherches n'ont aucunement l'obligation de suivre robots.txt. Tu ne dois pas protéger le contenu de ton site avec robots.txt, mais bien avec des .htaccess et autres sécurités de ce genre.
Le robots.txt c'est juste pour éviter aux robots qui le respectent de visiter pour rien des URL qui renvoient des erreurs 403 ou 401 parce qu'elles sont protégées.

gorgonite · 20/07/2006, 22h36

il y avait un .htaccess qui reconnaissait quand la connexion venait d'un "robot", et qui l'envoyait bouler... au risque de se faire blacklister

sinon, il y a un système qui permet de faire des urls "cycliques" et le robot part dans des boucles infinies, et plante sans indexer ton site... mais les moteurs de recherche n'apprécient pas non plus

piotr · 21/07/2006, 10h35

est-ce que quelqu'un aurait un tuto sur les moteurs de recherche et comment en programmer un?

gorgonite · 21/07/2006, 18h41

Citation:

Envoyé par piotr

est-ce que quelqu'un aurait un tuto sur les moteurs de recherche et comment en programmer un?

il y a des cours complets là-dessus... et plein de façon pour s'y prendre.
Que souhaites-tu exactement ?

Marc Lussac · 21/07/2006, 21h17

En général les gentils crawlers (par exemple les moteurs de recherches) suivent le robot.txt et les méchant crawler (par exemple les aspirateurs d'emails en vue de spam) s'en tapent.

piotr · 25/07/2006, 02h58

je souhaiterais programmer un moteur de recherche spécialisé, orienté sur mes centres d'intérêts. Je pourrais commencer par lui fournir en entrée une liste de site (celle de mes favoris IE), et ensuite rechercher des sites pertinents qui contiennent les mots clefs qui m'intéresse.

19/07/2006, 14h43	#1
piotr Membre à l'essai Inscription : mars 2006 Messages : 68 Détails du profil Informations personnelles : Âge : 37 Informations forums : Inscription : mars 2006 Messages : 68 Points : 23 Points : 23	moteurs de recherche: obligation de respecter robot.txt? Bonjour, je souhaiterais savoir si les moteurs de recherche ont l'obligation de respecter le fichier robot.txt, ou bien il existe des moteurs passant outre ce fichier ( et lesquels)? on m'a parlé de l'aspirateur httrack qui aspire un site web sans tenir compte du fichier robot.txt. y a t il un problème de droit si un moteur de recherche référence un contenu normalement protégé? merci de vos réponses piotr
	00

19/07/2006, 17h43	#2
sjrd Rédacteur/Modérateur Sébastien Doeraene Ingénieur développement logiciels Inscription : juin 2004 Messages : 4 500 Détails du profil Informations personnelles : Nom : Sébastien Doeraene Âge : 22 Localisation : Belgique Informations professionnelles : Activité : Ingénieur développement logiciels Secteur : High Tech - Éditeur de logiciels Informations forums : Inscription : juin 2004 Messages : 4 500 Points : 7 873 Points : 7 873	Les moteurs de recherches n'ont aucunement l'obligation de suivre robots.txt. Tu ne dois pas protéger le contenu de ton site avec robots.txt, mais bien avec des .htaccess et autres sécurités de ce genre. Le robots.txt c'est juste pour éviter aux robots qui le respectent de visiter pour rien des URL qui renvoient des erreurs 403 ou 401 parce qu'elles sont protégées. __________________ sjrd, rédacteur/modérateur Delphi Les règles du forum tu liras et tu respecteras. Ainsi ami des modos tu seras... Mis à jour le 6 mai 2012 : découvrez FunLabyrinthe v5.3 : un jeu de labyrinthe gratuit et personnalisable à l'infini avec des scripts Delphi-like. Découvrez aussi Sepi, un moteur de script orienté objet pour Delphi. Mes tutoriels
	00

20/07/2006, 22h36	#3
gorgonite Rédacteur/Modérateur Nicolas Vallée Ingénieur Système Inscription : décembre 2005 Messages : 9 774 Détails du profil Informations personnelles : Nom : Nicolas Vallée Âge : 27 Localisation : France Informations professionnelles : Activité : Ingénieur Système Secteur : Transports Informations forums : Inscription : décembre 2005 Messages : 9 774 Points : 14 303 Points : 14 303	il y avait un .htaccess qui reconnaissait quand la connexion venait d'un "robot", et qui l'envoyait bouler... au risque de se faire blacklister sinon, il y a un système qui permet de faire des urls "cycliques" et le robot part dans des boucles infinies, et plante sans indexer ton site... mais les moteurs de recherche n'apprécient pas non plus __________________ Evitez les MP pour les questions techniques... il y a des forums Contributions sur DVP : Mes Tutos \| Mon Blog
	00

21/07/2006, 21h17	#6
Marc Lussac Directeur Marketing Marc Lussac Responsable marketing opérationnel Inscription : mars 2002 Messages : 26 358 Détails du profil Informations personnelles : Nom : Marc Lussac Localisation : Canada Informations professionnelles : Activité : Responsable marketing opérationnel Secteur : Communication - Médias Informations forums : Inscription : mars 2002 Messages : 26 358 Points : 23 184 Points : 23 184	En général les gentils crawlers (par exemple les moteurs de recherches) suivent le robot.txt et les méchant crawler (par exemple les aspirateurs d'emails en vue de spam) s'en tapent. __________________ -> Ne pas me contacter pour le forum et je ne répondrai à aucune question technique -> Comment nous contacter -> Pour partenariat ou publicité : Mon Email
	00

21/07/2006, 10h35	#4
piotr Membre à l'essai Inscription : mars 2006 Messages : 68 Détails du profil Informations personnelles : Âge : 37 Informations forums : Inscription : mars 2006 Messages : 68 Points : 23 Points : 23	est-ce que quelqu'un aurait un tuto sur les moteurs de recherche et comment en programmer un?
	00

25/07/2006, 02h58	#7
piotr Membre à l'essai Inscription : mars 2006 Messages : 68 Détails du profil Informations personnelles : Âge : 37 Informations forums : Inscription : mars 2006 Messages : 68 Points : 23 Points : 23	je souhaiterais programmer un moteur de recherche spécialisé, orienté sur mes centres d'intérêts. Je pourrais commencer par lui fournir en entrée une liste de site (celle de mes favoris IE), et ensuite rechercher des sites pertinents qui contiennent les mots clefs qui m'intéresse.
	00

Outils de la discussion
Afficher une version imprimable Envoyer un lien vers cette page par email