Bonjour,

Je cherche à créer un fichier robots.txt afin d'empêcher l'indexation de pages de mon site. J'ai déjà mis dans le fichier des instructions classiques empêchant l'indexation :

Code txt : Sélectionner tout - Visualiser dans une fenêtre à part
1
2
3
User-agent: *
Disallow: /

D'après mes lectures, cela devrait - théoriquement - permettre d'empêcher l'indexation de mes pages par des moteurs de recherche, notamment Google et d'autres très populaires, comme Yahoo.

Je sais qu'il existe aussi la méthode de la balise <meta> placée dans le <head> de la page:

Code html : Sélectionner tout - Visualiser dans une fenêtre à part
<meta name="robots" content="noindex, nofollow" />

Mais comme il semble falloir répéter cette méthode pour l'ensemble des pages dont on veut empêcher l'indexation, n'est-ce pas un peu fastidieux ? Ne pourrait-on pas écrire dans le fichier robots.txt ceci :

Code txt : Sélectionner tout - Visualiser dans une fenêtre à part
1
2
3
4
5
6
7
8
9
10
User-agent: *
Disallow: /
Noindex: /
Nofollow: /
Nosnippet: /
Noarchive: /
Noodp: /
Noydir: /
Noimageindex: /

ne serait-ce pas plus simple ?

Autre question : la portée de ce fichier robots.txt, suis-je obligé d'en placer un pour chacun de mes sites dont je ne veux pas indexer les pages, ou puis-je simplement en poser un sur le serveur en spécifiant avec Disallow: /monURL les url que je ne veux pas indexer ?

Merci par avance de vos réponses.