Fichier robots.txt pour google
J'essaye de mettre en place un fichier robots.txt pour mon site en version mobile et mon site classique.
Voici ma structure avec ses dossiers :
www.monsite.com
>html
>mobile
sitemap.xml (du dossier mobile)
index.html
robots.txt
sitemap.xml
Voici le contenu robots.txt que je vais propose merci de me donner vos avis
---pour interdire googlebot et les autres robots au dossier mobile
Code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
|
User-agent: Googlebot
Disallow: /mobile/
User-agent: *
Disallow: /mobile/
---pour interdire mon dossier html (page classique et l'index) à googlebot-mobile IDEE 1 avec disallow
User-agent: Googlebot-Mobile
Disallow: /html/
User-agent: Googlebot-Mobile
Disallow: /index.html
ou IDEE 2 avec allow
User-agent: Googlebot-Mobile
Allow: /mobile/ |
Merci de vos conseils
PS : si je fais le fichier robots.txt est il nécessaire de mettre dans les pages mobiles
Code:
<meta name="robots" content="noindex, nofollow">
