Bonjour à tous,
je souhaite interdire l'affichage d'un robots.txt sur le navigateur pour cela je passe par un htaccess.
mais jaimerais aussi que les user agent puisse le lire pour parcourrir mon site
voila ce que jai fait :
robots.txt:
.htaccessUser-agent: *
Disallow: /rep1/
Disallow: /rep2/
est ce correcte, ai je oublié qq chose?DirectoryIndex index.php
<Files robots.txt>
order allow,deny
deny from all
</Files>
quand je tape sur le navigateur le chemin de robots.txt ça m'ecrit ce que je veux :ce que je voudrais savoir c'est est ce que les crawlers vont pouvoirs lire robots.txt??You don't have permission to access /site/www/robots.txt on this server
sur une autre section du forum on m'as quand meme repondu : " si tu ne peux pas lire le fichier, les robots non plus."
y a t il une parade?
merci d'avance
Partager