Le fichier robots.txt, sa syntaxe et son contenu, sa portée.

**jean-c** · 18/10/2016, 15h10

Bonjour,

Je cherche à créer un fichier robots.txt afin d'empêcher l'indexation de pages de mon site. J'ai déjà mis dans le fichier des instructions classiques empêchant l'indexation :

Code txt :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
User-agent: *
Disallow: /

D'après mes lectures, cela devrait - théoriquement - permettre d'empêcher l'indexation de mes pages par des moteurs de recherche, notamment Google et d'autres très populaires, comme Yahoo.

Je sais qu'il existe aussi la méthode de la balise <meta> placée dans le <head> de la page:

Code html :

Sélectionner tout - Visualiser dans une fenêtre à part

<meta name="robots" content="noindex, nofollow" />

Mais comme il semble falloir répéter cette méthode pour l'ensemble des pages dont on veut empêcher l'indexation, n'est-ce pas un peu fastidieux ? Ne pourrait-on pas écrire dans le fichier robots.txt ceci :

Code txt :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
User-agent: *
Disallow: /
Noindex: /
Nofollow: /
Nosnippet: /
Noarchive: /
Noodp: /
Noydir: /
Noimageindex: /

ne serait-ce pas plus simple ?

Autre question : la portée de ce fichier robots.txt, suis-je obligé d'en placer un pour chacun de mes sites dont je ne veux pas indexer les pages, ou puis-je simplement en poser un sur le serveur en spécifiant avec Disallow: /monURL les url que je ne veux pas indexer ?

Merci par avance de vos réponses.

**kolodz** · 18/10/2016, 15h17

Si tu veux plus d'information sur le fichier robot.txt...
Je te conseil d'aller voir la documentation de google concernant cette partie :
En savoir plus sur les fichiers robots.txt
Créer un fichier robots.txt

Cordialement,
Patrick Kolodziejczyk.

**jean-c** · 18/10/2016, 16h48

Bonjour,

Comme conseillé plus haut j'ai appliqué la technique du R.T.F.M., et du coup, ça soulève d'autres questions !

Du coup, il y a l'envoi d'une mention "X-robots-tag" qui certes, m'intéresse.
Travaillant sous Wamp, je le place dans le fichier httpd.conf ; mais où ? Lorsque je le mets en place, mon serveur ne veut plus démarrer.

Voilà grosso modo ce que j'avais écrit :

Code conf :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
<FilesMatch "*">
Header set X-Robots-Tag "noindex, nofollow, noarchive, notranslate, nosnippet"
</FilesMatch>

D'après les information données par Google, cela serait une bonne méthode couplée au fichier robots.txt.

Que dois-je optimiser exactement ?

Merci.

Le fichier robots.txt, sa syntaxe et son contenu, sa portée.

Webmarketing

Discussions similaires

Partager

Partager