Intérogation a propos d'un futur algo :(

Salut ,
Je doit concevoir prochainement un crawler dans un but amateur, j'en suis encore a la phase d'analyse conceptuelle mais je m'interoge sur un des modules que je compte utiliser a savoir lwp::parallel , dans la documentation officiel sur le cpan , il n'est pas fait état de comment ouvrir des connections en parallèles avec , par contre grace a mon amie :google: , je suis tombé sur un doc ou pour paralléliser un structure comme celle-ci est utilisé.

Code:

---

1 2 3 4 5 6

$recherche = [   HTTP::Request->new('GET', $lien), HTTP::Request->new('GET', $lien)   ];

---

Cette structure me tracasse parce que je ne voie pas comment faire un algo qui retourne cela, car mon script utilisera un bon vieux foreach() au début :roll: sachant que les url seront extrait avec HTML::Linkextor.

Code:

---

foreach my $lien ( @_) { ... }

---

Auriez vous une idée ?

Je sèche :cry:

mon robot recoie des arguments pas @ARGV; et je fait

Code:

---

1 2 3 4 5 6 7 8 9 10 11

foreach my $lien (@_) { ...   my $requete = [ HTTP::Request->new('GET', $lien) ];   ...   }

---

Je ne peut pas faire

Code:

---

1 2 3 4

my $requete = [ HTTP::Request->new('GET', $lien), HTTP::Request->new('GET', $lien) ];

---

parce que la requete bé c'est deux fois la même. :twisted: .

Personne n'a une idée ? même une petite

Coucou !

Si tu regardes bien l'exemple du CPAN, tu verras que

Code:

---

1 2 3

my $requete = [ HTTP::Request->new('GET', $lien) ];

---

te sers juste à créer un tableau avec tous les lien à analyser.
Je trouve l'exemple vraiment pas mal.

Justement c'est de cette doc que je parle , dans l'exemple les liens sur lesquels ils font les requetes sont en dure

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

my $reqs = [ HTTP::Request->new('GET', $url), # these are all redirects. depending on how you set # 'redirect_ok' they either just return the status code for # redirect (like 302 moved), or continue to follow redirection. HTTP::Request->new('GET', $url."research/ahoy/"), HTTP::Request->new('GET', $url."research/ahoy/doc/paper.html"), HTTP::Request->new('GET', "http://metacrawler.cs.washington.edu:6060/";), # these are all non-existant server. the first one should take # some time, but the following ones should be rejected right # away HTTP::Request->new('GET', "http://www.foobar.foo/research/ahoy/";), HTTP::Request->new('GET', "http://www.foobar.foo/foobar/foo/";), HTTP::Request->new('GET', "http://www.foobar.foo/baz/buzz.html";), # although server exists, file doesn't HTTP::Request->new('GET', $url."foobar/bar/baz.html"), ];

---

hors moi mes liens arrivent dans @ARGV et sont passé un par un grace a un foreach().

A moins que je n'est pas tout compris et que LWP::Parallele ouvre lui même les connections malgré qu'il ne revoive qu'un lien a la fois 8O