Le fichier robots.txt, sa syntaxe et son contenu, sa portée.
Bonjour,
Je cherche à créer un fichier robots.txt afin d'empêcher l'indexation de pages de mon site. J'ai déjà mis dans le fichier des instructions classiques empêchant l'indexation :
Code:
1
2
3
|
User-agent: *
Disallow: / |
D'après mes lectures, cela devrait - théoriquement - permettre d'empêcher l'indexation de mes pages par des moteurs de recherche, notamment Google et d'autres très populaires, comme Yahoo.
Je sais qu'il existe aussi la méthode de la balise <meta> placée dans le <head> de la page:
Code:
<meta name="robots" content="noindex, nofollow" />
Mais comme il semble falloir répéter cette méthode pour l'ensemble des pages dont on veut empêcher l'indexation, n'est-ce pas un peu fastidieux ? Ne pourrait-on pas écrire dans le fichier robots.txt ceci :
Code:
1
2
3
4
5
6
7
8
9
10
|
User-agent: *
Disallow: /
Noindex: /
Nofollow: /
Nosnippet: /
Noarchive: /
Noodp: /
Noydir: /
Noimageindex: / |
ne serait-ce pas plus simple ?
Autre question : la portée de ce fichier robots.txt, suis-je obligé d'en placer un pour chacun de mes sites dont je ne veux pas indexer les pages, ou puis-je simplement en poser un sur le serveur en spécifiant avec Disallow: /monURL les url que je ne veux pas indexer ?
Merci par avance de vos réponses.
