Discussion :

[CinePhil]

Bonjour,

Nous avons un serveur web qui délivre plusieurs sites via un Wordpress multi-sites, ce qui veut dire que, par exemple fictif, le site toto.enfa.fr ne correspond pas à un répertoire toto dans le serveur web mais est délivré via le Wordpress multi-sites.

Je souhaite empêcher les robots de télécharger les fichiers (principalement du PDF ou du doc) de nos sites.

J'ai essayé diverses solutions trouvées sur robots-txt.com/ :
Ceci, trouvé sur la partie wildcards

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
User-agent: *
Disallow: /*.doc$
Disallow: /*.pdf$

Ou bien ceci, trouvé sur la partie Wordpress :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/

Mais les robots semblent toujours là !

66.249.67.49 - - [05/Dec/2014:11:56:45 +0100] "GET /wp-content/uploads/2010/07/2-11-courrier.pdf HTTP/1.1" 200 32481 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Une idée plus efficace à me soumettre ?

[_Mac_]

On peut avoir (par MP par exemple) des URL de tes sites où on devrait trouver un robots.txt mais que Google continue d'indexer, stp ?

[CinePhil]

MP envoyé.

Merci de ton aide

[_Mac_]

Mmmmmm... Je ne vois pas d'erreur. Dans ton access_log, est-ce que tu as une trace de Bing ou Google qui demande le fichier robots.txt ?

[CinePhil]

Dans ton access_log, est-ce que tu as une trace de Bing ou Google qui demande le fichier robots.txt ?

Je n'ai rien repéré de tel jusqu'à présent.

[_Mac_]

Dans ce cas, il y a un problème avec les robots d'indexation puisqu'ils ne demandent pas robots.txt. Il se peut qu'ils utilisent une version précédente un certain temps avant de le redemander. Ca expliquerait qu'ils indexent toujours les documents. Dans la partie Webmaster des moteurs de recherche, n'as-tu pas moyen de forcer la lecture du robots.txt ?