Salut a tous et toutes,
Sur mon site, j'ai un page 404 tout a fait classique et dans le but de chasser les liens brisés, j'ai inséré un script qui m'envoi un e-mail à chaque fois que cette page est chargée.
l'email envoyé me permet ainsi de connaitre l'url qui a généré la page et l'url référent (d'ou vient l'internaute).

Le résultat est surprenant. Je reçois environ une 30aine de ces messages par jour, mais les liens rapportés n'existent pas. Ils ne sont utilisés nulle part (ni dans le site ni ailleurs). certains ont pu exister y il a plusieurs années sur une version ancienne du site, d'autres n'ont jamais existé.

Dans la plupart des cas, la partie référent est vide, ce qui implique que l'internaute a entré l'url directement.

C'est donc un crawler. Ok
Ce qui est gênant (outre que c'est parfaitement inutile) c'est que les liens sont parfois sur des images, et reviennent régulièrement à l'identique (il n'y donc pas d'auto correction).

Quelqu'un peut il expliquer cela? eventuellement m'indiquer des pistes pour forcer la correction?

Merci d'avance