Fichier robots pour indexation

Bonjour,

Dans un fichier robots.txt, je veux empêcher les moteurs de recherche d'analyser certains fichiers ou dossiers.
Question:
Doit on empêcher les moteurs d'analyser les fichiers .htaccess et sitemap.xml?

Code:

---

1 2 3 4 5

User-agent: * Disallow: /.htaccess Disallow: /sitemap.xml Disallow: /error Sitemap: http://www.monsite.fr

---

Cordialement

Bonjour,

il me semble que les robots n'indexent pas les fichiers .htaccess et les fichiers (sitemap.xml ou autres) qui ne possèdent pas de lien pointant vers eux ne sont pas indexés.

merci

et pour les pages d'erreur du type 404?
il faut les rendre non indexable non?

j ai trouvé la réponse sur le web

Citation:

---

il y a un risque que vos pages d'erreur soient référencées dans les moteurs de recherche, nous allons donc leur interdire l'accès

---

merci