Discussion :

[Invité]

Bonjour à tous,

je souhaite interdire l'affichage d'un robots.txt sur le navigateur pour cela je passe par un htaccess.
mais jaimerais aussi que les user agent puisse le lire pour parcourrir mon site

voila ce que jai fait :

robots.txt:

User-agent: *
Disallow: /rep1/
Disallow: /rep2/

.htaccess

DirectoryIndex index.php

<Files robots.txt>
order allow,deny
deny from all
</Files>

est ce correcte, ai je oublié qq chose?

quand je tape sur le navigateur le chemin de robots.txt ça m'ecrit ce que je veux :

You don't have permission to access /site/www/robots.txt on this server

ce que je voudrais savoir c'est est ce que les crawlers vont pouvoirs lire robots.txt??


sur une autre section du forum on m'as quand meme repondu : " si tu ne peux pas lire le fichier, les robots non plus."

y a t il une parade?
merci d'avance

[giminik]

Quel est l'intérêt de cette démarche ?
Ce n'est pas pour protéger des répertoires que tu fais ça, j'espère ?

[Invité]

non pour les repertoires jutilise un htaccess.
la démarche est simple c'est juste pour empecher les internautes de visualiser le fichier robots.txt.
je peux en interdire l'accès avec htaccess mais le pb viendra ensuite du fait que les robots ne pourront pas y accéder aussi.

et jaurai voulu savoir si il y avait un moyen de faire en sorte que le fichier robots.txt soit vu et lu que par les robots (et donc pas affichage sur le navigateur par un internautes)

[giminik]

Je n'en vois toujours pas l'intérêt, il n'y a pas d'informations sensibles dans un tel fichier.
Le problème qui va se poser, c'est qu'il va falloir que tu sache faire la différence entre un moteur de recherche et un navigateur web... et la je crois que ce ne sera pas possible. Donc soit c'est visible par tout le monde, soit par personne

[Invité]

sur un fichier robots tu peux deviner l'arbo mais bon c'était juste pour ma curiosité.
je me suis vite rendu compte que ça n'allait pas etre possible.
et j'en ai conclu comme toi c'est impossible.

[giminik]

ben de toute façon l'arborescence, elle est connue par le moteur si elle est visitée, donc connue de tout le monde après une recherche.
il faudrait pouvoir autoriser ou interdire le contenu en fonction du navigateur utilisé (user-agent).