WwW::Mechanize et /robots.txt

Bonjour à tous,

Je souhaiterais savoir si le module WWW::Mechanize respecte les règles de /robots.txt ?
La documentation du module n'en parle pas, et j'ai trouvé peu d'infos sur le net, et plutôt contradictoire :
OUI - http://www.infoqu.com/dev/perl-progr...oblem-33618-1/
NON - http://www.webmasterworld.com/search...rs/3866421.htm

En fouillant dans les sources et dans LWP::UserAgent, je n'ai rien trouvé.

Il est possible qu'il faille alors utiliser LWP::RobotUA.
Dans ce contexte, et si j'ai bien vrai, est-il possible de configurer WWW::Mechanize pour qu'il utilise LWP::RobotUA à la place de LWP::UserAgent ?

Une alternative pourrait être d'utiliser WWW::Mechanize::Sleepy et de positionner le paramètre sleep avec une valeur reflétant le Crawl-delay de /robots.txt, et d'utiliser WWW::RobotRules pour vérifier chaque URL demandée de façon à être compatible avec le contenu de /robots.txt. Un peu lourd...

D'autres idées ?

Salut ;)

WWW::Mechanize ne respecte rien :)

A priori c est donc a toi de gerer le fichier robots.txt (en perl ou avec un module du cpan ;) ).

Cependant la plupart des sites qui ne veulent pas etre parser utilise plutot le .htaccess pour selectionner les user agent, pour eviter ce genre de souci, tu peux faire ca :

$mech->agent_alias( 'Windows IE 6' );

Merci pour ta réponse.
Quel avantage trouverai-je à me faire passer pour un navigateur ?

T'as la meme page dans ton perl et dans le 'View Page Source' de Firefox ;)

En faite le module homonyme de WWW::Mechanize de Python gere apparement le fichier robots.txt, ca vaut peut-etre le coup de le verifier sur la version perl :)

Citation:

---

Envoyé par Fanch.g

T'as la meme page dans ton perl et dans le 'View Page Source' de Firefox ;)

---

Je n'ai actuellement pas de problème à ce niveau. Mais je retiens l'info.

Citation:

---

En faite le module homonyme de WWW::Mechanize de Python gere apparement le fichier robots.txt, ca vaut peut-etre le coup de le verifier sur la version perl :)

---

Oui, j'ai vu pour python. En revanche, j'ai fait une recherche approfondie, et rien ne montre que /robots.txt soit pris en charge.

Il te faut utiliser LWP::RobotUA

J'ai évoqué cette possibilité dès mon premier message, et la question sous-jacente était alors : comment configurer WWW::Mechanize pour qu'il utilise LWP::RobotUA au lieu de LWP::UserAgent ?