Discussion :

[goblin]

Je chercher en vain a savoir si oui ou non LWP tient compte des tags html

<META NAME="robots" CONTENT="nofollow" />

merci de vos réponses

[Mr6]

Ca dépend de ton UserAgent, si tu lui dis ou pas de se comporter comme un robot. Ce lien te donnera peut-être qq indications supplémentaires.

[goblin]

Oui mon UserAgent ce comporte comme un robot s'en est nu d'ailleur j'utilise aussi la lib WWW::RobotRules pour la prise en compte de robots.txt mais aucune indication pour le tags robot

[Mr6]

Je ne suis pas sûr que ca soit fait en automatique pour le moment, puisque sur la doc concernant ce tag il est bien indiqué que rares sont les robots qui se servent de ce tag pour le moment.
Mais rien ne t'empêche de le faire manuellement en récupérant les headers de ton UA !