robot.txt à quoi ca sert ? Comment on s'en sert ? [Résolu]

[naima2005]

Bonjour,

J'ai trouvé ds le web comme outil pour le réferencement l'outil submitic et sitemap generator mais je connais pas vraiment à quoi sert chaque outil cad sur quel niveau je peux utiliser chacun?
Aussi j'ai trouvé de la doc qui parle d'un certain fichier qu'il s'appel robot.txt mais je ne sais pas comment je peux l'utiliser et à qoui sert?
Qu'est ce que ca veut dire googlebot?

Cordialment
Naima2005

[Marc Lussac]

Le fichier robot.txt ne sert pas à améliorer ton référencement, il sert au contraire à dire aux robots de ne pas référencer certains pages de ton site. Donc si tu veux améliorer ton référencement oublie le fichier robot.txt, et d'autre part lis les tutoriels sur comment améliorer son référencement.

[anouuar]

Salut !

Le robots.txt est un fichier au format texte, qui est placé à la racine du site. Ce fichier permet d'indiquer les ressources qui ne doivent pas être prises en compte par certains ou par tous les robots, tout en restant accessibles par les navigateurs Web.

Voici des exemples de fichier robots.txt :

Toutes les pages sont indexables

User-Agent: *
Disallow:

Aucune page du site n'est indexé :

User-Agent: *
Disallow: /


Exclusion d'un robot (ex : robot de Google = googlebot):

User-Agent: googlebot
Disallow: /
User-Agent: *
Disallow:

Interdiction d'indexation de tout le contenu d'un répertoire (et ses sous-dossiers bien-sur) :

User-Agent: *
Disallow: /repertoire/


Google propose une documentation sur le sujet : http://www.google.com/support/webmas....py?topic=8843

Un compte Google est nécessaire.

La question qu'on peut se poser en parlant de robots.txt est la suivante :

Si je bloque google dans mon robots.txt est ce que ceci voudrait dire qu'il n'index pas ou qu'il ne visite pas le repertoire indiqué ?

[cadoudal56]

Si je bloque google dans mon robots.txt est ce que ceci voudrait dire qu'il n'index pas ou qu'il ne visite pas le repertoire indiqué ?

Tout dépend de ce que tu écris...
Si tu écris ceci, tous les robots peuvent indéxer ton site sauf google

Code :

1
2
3
4
5
User-Agent: googlebot
Disallow: /
User-Agent: *
Disallow:

si tu ecris ceci :

Code :

1
2
3
4
5
User-Agent: googlebot
Disallow: /css/
User-Agent: *
Disallow:

Tous les robots peuvent indéxer ton site en entier, sauf google qui ne peut pas indexer le répertoire CSS

Par contre pour faire un bon référencement, je vous conseille de ne pas négliger le fichier sitemap.xml

@+
cadou

[PsyckoHia]

Bonjour tout le monde,

Afin d'éviter un nouveau post pour qui concerne le meme thème, je poursuis cette discution . :=)

Je possède un nouveau 90plan sur ovh, je pensais que le fichier robots.txt etait automatiquement créer à la racine de www, lors de la création de l'hébergement, et qu'il suffisait par la suite de le ménager à son gout, mes 2 petite question sont :

1) Si l'on ne créer pas de fichiers robots.txt c'est tout comme si on acceptait tout les robot ?

2) Si jamais je désire utiliser le paiement sécuriser sur mon nouveau site (ovh), dois je mettre le fichiers robots.txt ou pas ???

Merci,

Bien cordialement PsyckoHia /* :=)

[cadoudal56]

Hello,

1) Si l'on ne créer pas de fichiers robots.txt c'est tout comme si on acceptait tout les robot ?

LA réponse est OUI. Les robots ne trouvant rien, il partiront par défaut du principe que tu acceptes tout.

2) Si jamais je désire utiliser le paiement sécuriser sur mon nouveau site (ovh), dois je mettre le fichiers robots.txt ou pas ???

Paiement sécurisé ou pas, cela n'a rien a voir... Le fichier robots.txt informe seulement les robots des moteurs de recherche sur ce qu'ils peuvent indéxer ou non sur ton site

@+
cadou