Accès en simultanée

Version imprimable

Accès en simultanée

Lut , j'ai le "hachage" suivant
Code:

1 2 3 4 5 6 7 my $req = [ HTTP::Request->new( 'GET', $link), HTTP::Request->new( 'GET', $link), HTTP::Request->new( 'GET', $link) ];
Je voudrais pouvoir effectuer la requête

Code:

my $res = $ua->request($request, $arg, 4096);

sur tout les éléments en même temps

j'utilise pour l'instant
Code:

1 2 3 4 5 6 7 8 foreach my $request (@$req) { my $res = $ua->request($request, $arg, 4096); .... }
Sa marche mais l'accés n'est pas simultanée.

Merci pour vos tuyaux :wink:

Qu'est ce qui ne te plaît pas dans l'exemple fourni par la doc de LWP::Parallel !! :evil:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
 
  require LWP::Parallel::UserAgent;
  use HTTP::Request; 
 
  # display tons of debugging messages. See 'perldoc LWP::Debug'
  #use LWP::Debug qw(+);
 
  # shortcut for demo URLs
  my $url = "http://localhost/"; 
 
  my $reqs = [  
     HTTP::Request->new('GET', $url),
     HTTP::Request->new('GET', $url."homes/marclang/"),
  ];
 
  my $pua = LWP::Parallel::UserAgent->new();
  $pua->in_order  (1);  # handle requests in order of registration
  $pua->duplicates(0);  # ignore duplicates
  $pua->timeout   (2);  # in seconds
  $pua->redirect  (1);  # follow redirects
 
  foreach my $req (@$reqs) {
    print "Registering '".$req->url."'\n";
    if ( my $res = $pua->register ($req) ) { 
        print STDERR $res->error_as_HTML; 
    }  
  }
  my $entries = $pua->wait();
 
  foreach (keys %$entries) {
    my $res = $entries->{$_}->response;
 
    print "Answer for '",$res->request->url, "' was \t", $res->code,": ",
          $res->message,"\n";
  }

09/10/2005, 11h14
scaleo
Bé ce qui me gène c'est

Citation:

my $reqs = [
HTTP::Request->new('GET', $url),
HTTP::Request->new('GET', $url."homes/marclang/"),
];

dans le cas de mon robot je doit faire
Code:

1 2 3 4 5 6 7 8 foreach ($link) { my $reqs = [ HTTP::Request->new('GET', $link) ]; }
Du coup je fait toujours qu'une seule requêtes a la fois :!: :idea:

Non ?

Me revoilou Jedai :wink: !

Heu ben il y a rien que me gène en fait.

voici mon nouveau code

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
{
  my %vus; 
  my @avoir;
 
sub robot
{
 foreach my $url ( @_ )
 {
   next if defined $vus{$url};
   push(@avoir, $url);
 }
  return if $#avoir == -1;
 
 while (my $page = shift @avoir) {
 
  ++$vus{$page};
 
  my $link=$page;
 
   my $verif_links = verif_link_format($link);
 
       if ( $verif_links == 1 ) {
 
  my $reqs = [  
     HTTP::Request->new('GET', $link)     
  ];
 
   foreach my $req (@$reqs) { 
 
       $req->header('Accept' => [
                     qw(
                      text/html application/xhtml+xml application/msexcel
                      application/msword application/pdf application/rtf
                      application/x-javascript application/x-httpd-php
                      text/rtf text/nux application/sxc application/sxw
                      application/sxd application/mdi application/x-httpd-asp
                      application/x-httpd-aspx application/x-httpd-mspx
                      application/x-httpd-cfm application/x-httpd-jthml
                      application/x-httpd-pm application/vnd.sun.xml.calc
                      application/vnd.sun.xml.writer application/vnd.sun.xml.draw)
 
    ]
);
    print "Registering '".$req->url."'\n"; 
    if ( my $res = $ua->register ($req) ) { 
        print STDERR $res->error_as_HTML; 
      }  
   } 
 
   my $entries = $ua->wait(2);
 
  foreach (keys %$entries) { 
 
    my $res = $entries->{$_}->response; 
 
   # print "Answer for '",$res->request->url, "' was \t", $res->code,": ", 
   # $res->message,"\n";
 
     if ( $res->is_success ) {
 
      my ($code, $date, $size, %page, $base, $content_type);
 
     $code = $res->content;
 
     $date = date();
 
     $size = size($link);
 
     $base = $res->base;
 
     $content_type = $res->content_type;
 
          %page = (
 
 
            result => [
 
                         "$code", "$link",
                         "$date", "$size KB",
                         "$content_type"
 
                      ]
 
 
            );
 
            print "$page{'result'}->[0]\n";
            print "$page{'result'}->[1]\n";
            print "$page{'result'}->[2]\n";
            print "$page{'result'}->[3]\n";
            print "$page{'result'}->[4]\n";
 
           my $p = HTML::LinkExtor->new(\&callback);
 
               $p->parse($code);
 
                     @web = map { $_ = url($_, $base)->abs; } @web;
 
               @web = illegal(@web);
 
                     @web = grep_array(@web);
 
 
          robot(@web);
 
   }
    else
   {
     print "Request failed\n";
   }   
  } 
  }
   else
  {
    print "Bad link\n";
   }
  }
 }
}

Il marche parfaitement , mais comme tu peut le voir il reste un probleme

Code:

1
2
3
  my $reqs = [  
     HTTP::Request->new('GET', $link)     
  ];

Je ne fait toujours qu'une requête a la fois :twisted:

09/10/2005, 17h44
bluecurve

En fait il faut un algo qui te créer un table associative et non le faire en dur.

Voici une possibilité (pas la seule, loin de là).

Au début de ta fonction, quand tu définis %vus et @avoir, tu rajoute ceci:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 { my %vus; my @avoir; sub next_avoir { my @a_retourner; for (0..2) { if ( my $url = shift @avoir) { push( @a_retourner, $url ); } } return @a_retourner; }
Maintenant, plutôt que de dire:
Code:

1 2 while ( my $page = shift @avoir ) {
tu peux dire:
Code:

1 2 while ( my @pages = next_avoir() ) {
Ce qui te donnes trois (ou plus, suffit de changer la boucle plus haut) pages à chaque itération.

Mais il y a encore du boulot, parce qu'il faut adapater la suite du code au fait que tu reçois désormais trois url en meme temps. (Aussi: ceci n'est pas testé, j'ai peut-être oublié qqch).

09/10/2005, 23h31
scaleo

Sa marche mais il faut effecitvement que j'adapte mon code :D
11/10/2005, 10h26
scaleo

Arf j'ai un problème comment faire les requtes en simultané :twisted: , la ok je recoit plusieur url en même temps mais pour ce qui est de faire un HTTP::Request sur tout les éléments du tableau en même temps que sais pas comment faire :piou:

Quelqu'un sait il comment ont accède a tout les élément d'un tableau en même temps ?

Sa m'enleverais une épine du pied
11/10/2005, 10h43
chostrama

Quelles solutions as-tu déjà essayées ?

Bé j'ai testé
Code:

1 2 3 4 $reqs = [ HTTP::Request->new('GET', @page) ];
C'est archi faux

Si je fait
Code:

1 2 3 4 5 6 7 8 $reqs = [ HTTP::Request->new('GET', $link), HTTP::Request->new('GET', $link), HTTP::Request->new('GET', $link), HTTP::Request->new('GET', $link) ];
sa sert a rien puique c'est toujours le même lien

http://cpan.uwinnipeg.ca/htdocs/Para.../Parallel.html

Et plein d'autre solutions mais aucune ne marche :twisted: :arf:

11/10/2005, 12h38
chostrama

Relis la doc pour LWP::Parallel. Ca ne marche pas comme ça.

C'est quoi qui marche pas comme sa ?

Si tu parle des méthodes

Code:

1
2
3
4
5
6
7
  foreach my $req (@$reqs) {
    print "Registering '".$req->url."'\n";
    if ( my $res = $pua->register ($req) ) { 
        print STDERR $res->error_as_HTML; 
    }  
  }
  my $entries = $pua->wait();

Code:

1
2
3
4
foreach (keys %$entries) {
    my $res = $entries->{$_}->response;    print "Answer for '",$res->request->url, "' was \t", $res->code,": ",
          $res->message,"\n";
  }

et de

Code:

1
2
3
4
$pua->in_order  (1);  # handle requests in order of registration
  $pua->duplicates(0);  # ignore duplicates
  $pua->timeout   (2);  # in seconds
  $pua->redirect  (1);  # follow redirects

Je les est implimenté dans mon code

11/10/2005, 13h01
chostrama
ok, je comprends maintenant. Donc tu as une liste de url et il te faut une liste de requêtes. Quel est le problème? Voici du pseudocode :
Code:

1 2 3 4 5 6 my @requetes; foreach my $url ( @pages ) { my $req = .... # fabriquer une requête push( @requetes, $req ); }
Ou y a-t-il qqch qui m'échappe ?
11/10/2005, 13h05
scaleo

Heu non en fait tu a tout compris.
16/10/2005, 16h36
scaleo

J'arrive pas a parallélisé mon script :twisted: :evil: . Il y a quelque chose qui m'intrigue le premier spider que j'ai eu etait plus rapide que celui la et il ne faisait qu'une requete a la fois alors que la , j'utilise directement lwp et c'est plus lent :lefou: , c'est vraiment incompréhensible celui la devrais être bien plus rapide non ?