Bonjour à tous,
je souhaite interdire l'affichage d'un robots.txt sur le navigateur pour cela je passe par un htaccess.
mais jaimerais aussi que les user agent puisse le lire pour parcourrir mon site
voila ce que jai fait :
robots.txt:
.htaccessUser-agent: *
Disallow: /rep1/
Disallow: /rep2/
est ce correcte, ai je oublié qq chose?DirectoryIndex index.php
<Files robots.txt>
order allow,deny
deny from all
</Files>
quand je tape sur le navigateur le chemin de robots.txt ça m'ecrit ce que je veux :ce que je voudrais savoir c'est est ce que les crawlers vont pouvoirs lire robots.txt??You don't have permission to access /site/www/robots.txt on this server
merci d'avance

 

 
		
		 
        


 robots.txt / user agent / htaccess
 robots.txt / user agent / htaccess
				 Répondre avec citation
  Répondre avec citation 
			
			



 
   


Partager