IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Apache Discussion :

robots.txt avec des sous-domaines en Wordpress multi-sites


Sujet :

Apache

  1. #1
    Modérateur

    Avatar de CinePhil
    Homme Profil pro
    Ingénieur d'études en informatique
    Inscrit en
    août 2006
    Messages
    16 681
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 58
    Localisation : France, Haute Garonne (Midi Pyrénées)

    Informations professionnelles :
    Activité : Ingénieur d'études en informatique
    Secteur : Enseignement

    Informations forums :
    Inscription : août 2006
    Messages : 16 681
    Points : 33 736
    Points
    33 736
    Billets dans le blog
    14
    Par défaut robots.txt avec des sous-domaines en Wordpress multi-sites
    Bonjour,

    Nous avons un serveur web qui délivre plusieurs sites via un Wordpress multi-sites, ce qui veut dire que, par exemple fictif, le site toto.enfa.fr ne correspond pas à un répertoire toto dans le serveur web mais est délivré via le Wordpress multi-sites.

    Je souhaite empêcher les robots de télécharger les fichiers (principalement du PDF ou du doc) de nos sites.

    J'ai essayé diverses solutions trouvées sur robots-txt.com/ :
    Ceci, trouvé sur la partie wildcards
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    User-agent: *
    Disallow: /*.doc$
    Disallow: /*.pdf$
    Ou bien ceci, trouvé sur la partie Wordpress :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    User-agent: *
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/
    Mais les robots semblent toujours là !
    66.249.67.49 - - [05/Dec/2014:11:56:45 +0100] "GET /wp-content/uploads/2010/07/2-11-courrier.pdf HTTP/1.1" 200 32481 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
    Une idée plus efficace à me soumettre ?
    Philippe Leménager. Ingénieur d'étude à l'École Nationale Supérieure de Formation de l'Enseignement Agricole. Autoentrepreneur.
    Mon ancien blog sur la conception des BDD, le langage SQL, le PHP... et mon nouveau blog sur les mêmes sujets.
    « Ce que l'on conçoit bien s'énonce clairement, et les mots pour le dire arrivent aisément ». (Nicolas Boileau)
    À la maison comme au bureau, j'utilise la suite Linux Mageïa !

  2. #2
    Rédacteur
    Avatar de _Mac_
    Profil pro
    Inscrit en
    août 2005
    Messages
    9 601
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : août 2005
    Messages : 9 601
    Points : 12 751
    Points
    12 751
    Par défaut
    On peut avoir (par MP par exemple) des URL de tes sites où on devrait trouver un robots.txt mais que Google continue d'indexer, stp ?

    Du détail, du détail, du détail !!!
    Revenons à la source : lisons la documentation et les fichiers de trace, la réponse à notre problème s'y trouve sans doute

  3. #3
    Modérateur

    Avatar de CinePhil
    Homme Profil pro
    Ingénieur d'études en informatique
    Inscrit en
    août 2006
    Messages
    16 681
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 58
    Localisation : France, Haute Garonne (Midi Pyrénées)

    Informations professionnelles :
    Activité : Ingénieur d'études en informatique
    Secteur : Enseignement

    Informations forums :
    Inscription : août 2006
    Messages : 16 681
    Points : 33 736
    Points
    33 736
    Billets dans le blog
    14
    Par défaut
    MP envoyé.

    Merci de ton aide
    Philippe Leménager. Ingénieur d'étude à l'École Nationale Supérieure de Formation de l'Enseignement Agricole. Autoentrepreneur.
    Mon ancien blog sur la conception des BDD, le langage SQL, le PHP... et mon nouveau blog sur les mêmes sujets.
    « Ce que l'on conçoit bien s'énonce clairement, et les mots pour le dire arrivent aisément ». (Nicolas Boileau)
    À la maison comme au bureau, j'utilise la suite Linux Mageïa !

  4. #4
    Rédacteur
    Avatar de _Mac_
    Profil pro
    Inscrit en
    août 2005
    Messages
    9 601
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : août 2005
    Messages : 9 601
    Points : 12 751
    Points
    12 751
    Par défaut
    Mmmmmm... Je ne vois pas d'erreur. Dans ton access_log, est-ce que tu as une trace de Bing ou Google qui demande le fichier robots.txt ?

    Du détail, du détail, du détail !!!
    Revenons à la source : lisons la documentation et les fichiers de trace, la réponse à notre problème s'y trouve sans doute

  5. #5
    Modérateur

    Avatar de CinePhil
    Homme Profil pro
    Ingénieur d'études en informatique
    Inscrit en
    août 2006
    Messages
    16 681
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 58
    Localisation : France, Haute Garonne (Midi Pyrénées)

    Informations professionnelles :
    Activité : Ingénieur d'études en informatique
    Secteur : Enseignement

    Informations forums :
    Inscription : août 2006
    Messages : 16 681
    Points : 33 736
    Points
    33 736
    Billets dans le blog
    14
    Par défaut
    Dans ton access_log, est-ce que tu as une trace de Bing ou Google qui demande le fichier robots.txt ?
    Je n'ai rien repéré de tel jusqu'à présent.
    Philippe Leménager. Ingénieur d'étude à l'École Nationale Supérieure de Formation de l'Enseignement Agricole. Autoentrepreneur.
    Mon ancien blog sur la conception des BDD, le langage SQL, le PHP... et mon nouveau blog sur les mêmes sujets.
    « Ce que l'on conçoit bien s'énonce clairement, et les mots pour le dire arrivent aisément ». (Nicolas Boileau)
    À la maison comme au bureau, j'utilise la suite Linux Mageïa !

  6. #6
    Rédacteur
    Avatar de _Mac_
    Profil pro
    Inscrit en
    août 2005
    Messages
    9 601
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : août 2005
    Messages : 9 601
    Points : 12 751
    Points
    12 751
    Par défaut
    Dans ce cas, il y a un problème avec les robots d'indexation puisqu'ils ne demandent pas robots.txt. Il se peut qu'ils utilisent une version précédente un certain temps avant de le redemander. Ca expliquerait qu'ils indexent toujours les documents. Dans la partie Webmaster des moteurs de recherche, n'as-tu pas moyen de forcer la lecture du robots.txt ?

    Du détail, du détail, du détail !!!
    Revenons à la source : lisons la documentation et les fichiers de trace, la réponse à notre problème s'y trouve sans doute

Discussions similaires

  1. Créer un site avec des sous domaines !
    Par nicolaas dans le forum Débuter
    Réponses: 4
    Dernier message: 07/11/2014, 19h29
  2. Créer des sous-domains avec dyndns
    Par xekkos dans le forum Hébergement
    Réponses: 0
    Dernier message: 10/04/2013, 19h17
  3. [XHTML 1.0] Problème d'inclusion de CSS et JS avec des sous-domaines ?
    Par [ZiP] dans le forum Balisage (X)HTML et validation W3C
    Réponses: 4
    Dernier message: 22/05/2010, 13h41
  4. [Cookies] Visibilité avec des sous-domaines
    Par kevinf dans le forum Langage
    Réponses: 6
    Dernier message: 06/02/2007, 16h31
  5. fichier .bat : problèmes avec des sous-répertoires
    Par aymron dans le forum Windows
    Réponses: 4
    Dernier message: 23/06/2005, 10h33

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo