Discussion :

[goblin]

Salut ,
Je doit concevoir prochainement un crawler dans un but amateur, j'en suis encore a la phase d'analyse conceptuelle mais je m'interoge sur un des modules que je compte utiliser a savoir lwp::parallel , dans la documentation officiel sur le cpan , il n'est pas fait état de comment ouvrir des connections en parallèles avec , par contre grace a mon amie , je suis tombé sur un doc ou pour paralléliser un structure comme celle-ci est utilisé.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
$recherche = [
 
               HTTP::Request->new('GET', $lien),
               HTTP::Request->new('GET', $lien)
 
 ];

Cette structure me tracasse parce que je ne voie pas comment faire un algo qui retourne cela, car mon script utilisera un bon vieux foreach() au début sachant que les url seront extrait avec HTML::Linkextor.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

foreach my $lien ( @_)  { ... }

Auriez vous une idée ?

[goblin]

Je sèche

mon robot recoie des arguments pas @ARGV; et je fait

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
foreach my $lien (@_)
{
   ...
 
  my $requete = [
     HTTP::Request->new('GET', $lien)
  ];
 
...
 
}

Je ne peut pas faire

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
my $requete = [
     HTTP::Request->new('GET', $lien),
     HTTP::Request->new('GET', $lien)
  ];

parce que la requete bé c'est deux fois la même. .

Personne n'a une idée ? même une petite

[Jeh]

Coucou !

Si tu regardes bien l'exemple du CPAN, tu verras que

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
my $requete = [ 
     HTTP::Request->new('GET', $lien) 
  ];

te sers juste à créer un tableau avec tous les lien à analyser.
Je trouve l'exemple vraiment pas mal.

[goblin]

Justement c'est de cette doc que je parle , dans l'exemple les liens sur lesquels ils font les requetes sont en dure

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
my $reqs = [  
     HTTP::Request->new('GET', $url),
            # these are all redirects. depending on how you set
            # 'redirect_ok' they either just return the status code for
            # redirect (like 302 moved), or continue to follow redirection.
     HTTP::Request->new('GET', $url."research/ahoy/"),
     HTTP::Request->new('GET', $url."research/ahoy/doc/paper.html"),
     HTTP::Request->new('GET', "http://metacrawler.cs.washington.edu:6060/";),
            # these are all non-existant server. the first one should take
            # some time, but the following ones should be rejected right
            # away
     HTTP::Request->new('GET', "http://www.foobar.foo/research/ahoy/";),
     HTTP::Request->new('GET', "http://www.foobar.foo/foobar/foo/";),
     HTTP::Request->new('GET', "http://www.foobar.foo/baz/buzz.html";),
            # although server exists, file doesn't
     HTTP::Request->new('GET', $url."foobar/bar/baz.html"),
            ];

hors moi mes liens arrivent dans @ARGV et sont passé un par un grace a un foreach().

A moins que je n'est pas tout compris et que LWP:arallele ouvre lui même les connections malgré qu'il ne revoive qu'un lien a la fois