Comportement des Robots par rapports aux anciennes urls qui n'ont plus de liens vers elles

[Tristan Zwingelstein]

Bonjour

J'ai un site qui contient "monUrl.com/maPage"

Google (ou tout autre robot) passe dessus et enregistre "maPage" dans son référencement.

J'enlève tous les liens sur mon site vers cette page (et je considère qu'il n'y a pas de lien externe vers cette page sur d'autres sites et que personne ne connait cette url (à part les moteurs de recherche qui l'ont référencée).

"maPage" va - t - elle rester référencée ?

En d'autres termes, si rien sur un site ne fait référence à une page déjà référencée, reste - t - elle référencée ?

Merci

[Eric2a]

Salut,

Au bout d'un moment, plus ou moins long, elle finit par disparaître des SERP oui.


Nous pouvons :

1) utiliser le fichier robots.txt (à la racine du site)

Code :

1
2
User-agent: *
Disallow: /pages-a-oublier.php

2) placer la balise meta suivante dans la partie head de la page

Code :

<meta name="robots" content="noindex" />

afin qu'elle ne soit plus suivie, et donc accélerer son déreférencement.


Si elle est supprimée du serveur, l'idéal est d'envoyer pour cette page le code HTTP 410 qui fait part aux moteurs qu'elle est définitivement supprimée.

1) via le .htaccess (réécriture d'URL)

Code :

1
2
RewriteEngine On
RewriteRule ^pages-a-oublier.php$ - [G]

2) via l'entête du fichier (PHP par exemple)

Code php :

1
2
3
4
5
<?php
header('HTTP/1.1 410 Gone');
header('Content-Type: text/html; charset=utf-8');
header('Connection: close');
?>

[jump-jack]

Excellente réponse de Eric2a

je la complète avec une autre approche et des précisions

Google mémorise cette URL durant des mois (voire plus) et régulièrement il retente d'y accéder sauf à trouver une des réponses décrites par Eric2a

pour une page .html ou .php, ce n'est guère gênant

MAIS :: pour une URL type Recherche, là cela se gâte sérieux !

un exemple ::
votre site permet des recherches et vous avez des liens pré construits pour aider les internautes un peu neuneus , genre : cliquez ici pour lister tous les appartements F2 de Nice à louer
et une url style recherche.php?ville=nice&taille=F2 lui correspond.

Google va mémoriser toutes ces URL, y compris celles qui sont dans des flash avec des cartes géographiques et autres widgets

quand vous mettez votre moteur de recherche à jour et que les URL changent (par exemple on passe de F2 à désormais l'info critère de sélection sera le nombre de chambres) ben toutes vos anciennes URL de recherche restent dans Google même si vous les avez supprimées du site. Si votre moteur continue de répondre à ces anciennes URL ben vous avez des duplicate contents à cause de 2 URL pointent un même contenu identique

et les ennuis qui vont avec en référencement