Discussion :

[Philou67430]

Bonjour à tous,

Je souhaiterais savoir si le module WWW::Mechanize respecte les règles de /robots.txt ?
La documentation du module n'en parle pas, et j'ai trouvé peu d'infos sur le net, et plutôt contradictoire :
OUI - http://www.infoqu.com/dev/perl-progr...oblem-33618-1/
NON - http://www.webmasterworld.com/search...rs/3866421.htm

En fouillant dans les sources et dans LWP::UserAgent, je n'ai rien trouvé.

Il est possible qu'il faille alors utiliser LWP::RobotUA.
Dans ce contexte, et si j'ai bien vrai, est-il possible de configurer WWW::Mechanize pour qu'il utilise LWP::RobotUA à la place de LWP::UserAgent ?

[Philou67430]

Une alternative pourrait être d'utiliser WWW::Mechanize::Sleepy et de positionner le paramètre sleep avec une valeur reflétant le Crawl-delay de /robots.txt, et d'utiliser WWW::RobotRules pour vérifier chaque URL demandée de façon à être compatible avec le contenu de /robots.txt. Un peu lourd...

D'autres idées ?

[Fanch.g]

Salut

WWW::Mechanize ne respecte rien

A priori c est donc a toi de gerer le fichier robots.txt (en perl ou avec un module du cpan ).

Cependant la plupart des sites qui ne veulent pas etre parser utilise plutot le .htaccess pour selectionner les user agent, pour eviter ce genre de souci, tu peux faire ca :

$mech->agent_alias( 'Windows IE 6' );

[Philou67430]

Merci pour ta réponse.
Quel avantage trouverai-je à me faire passer pour un navigateur ?

[Fanch.g]

T'as la meme page dans ton perl et dans le 'View Page Source' de Firefox

En faite le module homonyme de WWW::Mechanize de Python gere apparement le fichier robots.txt, ca vaut peut-etre le coup de le verifier sur la version perl

[Philou67430]

T'as la meme page dans ton perl et dans le 'View Page Source' de Firefox

Je n'ai actuellement pas de problème à ce niveau. Mais je retiens l'info.

En faite le module homonyme de WWW::Mechanize de Python gere apparement le fichier robots.txt, ca vaut peut-etre le coup de le verifier sur la version perl

Oui, j'ai vu pour python. En revanche, j'ai fait une recherche approfondie, et rien ne montre que /robots.txt soit pris en charge.