un bot peut il boucler infiniment ?

[Merfolk]

Bonjour

mon site est en train d'être spammé par googlebot...en fait j'ai des liens dynamiques qui proposent des liens dynamiques, qui proposent des liens dynamiques, qui proposent des liens dynamiques.... etc.

bref c'est à moitié sans fin

je viens de rajouter des
"<meta robot no follow>" partout
et de créer un fichier robot.txt disallow messcripts.php

mais quand est-ce que l'indexation en cours se terminera elle ? (si elle se peut se terminer ?) y a til un moyen de forcer ?

quelqu'un peut il m'en dire plus ?

[Sayrus]

Salut,

Que donne les logs exactement? Vois-tu un bot explorer 2 fois la même page depuis le même endroit?

Sinon je ne pense pas qu'un robot peut boucler infiniment, ça voudrait dire utiliser des ressources pour rien (maintenant je ne suis pas sûr mais pour moi ça coule de source qu'un robot ne puisse faire une boucle infinie.)

[RaKaR]

Hello,

On remarque souvent que pour qu'un même domaine, il faut une certaine popularité pour avoir un grand nombre de pages indexées.

Un domaine peu populaire ne peu à priori avoir des millions de pages indexées.

De plus, les algorithmes peuvent très bien considérer que tu tentes de spammer et donc de tout simplement ignorer ton site.

Pour éviter ce type de site qui génère un nombre de pages infini (technique de spam souvent utilisée), certains robots comme celui de Yahoo créent au même des urls "bidons" pour voir si du contenu est "auto-generé"