Discussion :

[binco]

Bonjour,

Dans un fichier robots.txt, je veux empêcher les moteurs de recherche d'analyser certains fichiers ou dossiers.
Question:
Doit on empêcher les moteurs d'analyser les fichiers .htaccess et sitemap.xml?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
User-agent: *
Disallow: /.htaccess
Disallow: /sitemap.xml
Disallow: /error
Sitemap: http://www.monsite.fr

Cordialement

[Christophe P.]

Bonjour,

il me semble que les robots n'indexent pas les fichiers .htaccess et les fichiers (sitemap.xml ou autres) qui ne possèdent pas de lien pointant vers eux ne sont pas indexés.

[binco]

merci

et pour les pages d'erreur du type 404?
il faut les rendre non indexable non?

[binco]

j ai trouvé la réponse sur le web

il y a un risque que vos pages d'erreur soient référencées dans les moteurs de recherche, nous allons donc leur interdire l'accès

merci