Cacher le fichier robots.txt aux navigateurs
En référence à cette discussion, je cherche aussi comme rbaatouc à empêcher les internautes de lire le fichier robots.txt mais laisser les moteurs de recherche le lire!
C'est important car en effet le noms de quelques repertoires ne doivent ni être indexés et ni vus par les internautes.
Si vous avez une autre solution pour réaliser cela elle sera la bienvenue :mouarf:
Merci
Utiliser .htaccess et .htpasswd pour sécuriser les repertoires à cacher
La meilleur solution est de sécuriser les repertoires qu'on veux cacher et pour les robots et pour les internautes avec une authentification moyennant .htaccess et .htpasswd
En effet, les robots et les internautes voient presque la même chose. Donc on permet de crawler ce qu'on veux montrer aux internautes.
Et dans le fichier robots.txt il est préférable de ne pas mettre les noms de répertoires à cacher.
Merci à tous.