Discussion :

[itmak]

En référence à cette discussion, je cherche aussi comme rbaatouc à empêcher les internautes de lire le fichier robots.txt mais laisser les moteurs de recherche le lire!

C'est important car en effet le noms de quelques repertoires ne doivent ni être indexés et ni vus par les internautes.

Si vous avez une autre solution pour réaliser cela elle sera la bienvenue

Merci

[_Mac_]

Tu peux faire un filtre sur la valeur de l'en-tête User-Agent mais cette solution n'est pas parfaite. Dans le .htaccess de la racine du site :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
SetEnvIf User-Agent Mozilla navigateur
SetEnvIf User-Agent Safari navigateur
SetEnvIf User-Agent Opera navigateur
...
 
<Files robots.txt>
    Deny from env=navigateur
</Files>

Avec ce filtre, si quelqu'un truque la signature de son navigateur, i.e. met autre chose que ce qui figure dans les SetEnvIf, il verra le fichier robots.txt.

Après, dans l'absolu, je suis de l'avis de la conclusion de la discussion précédente : un robot suit les liens présents sur les pages Web sauf ceux indiqués dans robots.txt. Ce qui signifie qu'un robot ne peut pas voir plus de pages que ce qu'un utilisateur lambda peut voir avec son navigateur en suivant les liens du site. Un robot d'indexation bien fait ne cherche pas à construire d'autres URL. Par exemple, si /admin ne figure nulle part dans les liens publics du site, un robot n'ira jamais chercher à indexer /admin. Si tu ne veux pas que les internautes voient certains répertoires, il ne faut pas mettre de liens vers ces répertoires dans tes pages. Dire qu'on peut deviner des répertoires cachés en lisant le robots.txt, c'est un faux problème car par définition ne doivent figurer dans robots.txt que des URL publiques accessibles à partir de liens publiques de ton site. Donc pour moi, à part avoir des problèmes, un tel filtre n'a aucun intérêt.

[itmak]

La meilleur solution est de sécuriser les repertoires qu'on veux cacher et pour les robots et pour les internautes avec une authentification moyennant .htaccess et .htpasswd

En effet, les robots et les internautes voient presque la même chose. Donc on permet de crawler ce qu'on veux montrer aux internautes.

Et dans le fichier robots.txt il est préférable de ne pas mettre les noms de répertoires à cacher.

Merci à tous.

[_Mac_]

On est d'accord