Gérer les coupures avec LWP

Version imprimable

28/07/2005, 03h11
siaoly

Gérer les coupures avec LWP

Hier je faisais mumuse (c les vacances :D ), avec un script utilisant lwp quand ma connection adsl c'est coupé :? , le script a donc attendue dans les 10 secondes et c'est arrété.

Je voudrais donc savoir si il existe un fonction de LWP pour gérer les coupure de connection ?

Par exemple si au bout de 15 s aucune donné n'arrive il se met a pinguer free.fr et tant qu'il n'a pas de réponse ben il fait rien
22/08/2005, 03h03
vodevil

Heu ben tu fait un cache
22/08/2005, 12h00
nematoad

Re: Gérer les coupures avec LWP

Citation:

Envoyé par siaoly

Hier je faisais mumuse (c les vacances :D ), avec un script utilisant lwp quand ma connection adsl c'est coupé :? , le script a donc attendue dans les 10 secondes et c'est arrété.

Parce que tu n'as pas testé voir si le get() a fonctionné ?

Citation:

Envoyé par siaoly

Par exemple si au bout de 15 s aucune donné n'arrive il se met a pinguer free.fr et tant qu'il n'a pas de réponse ben il fait rien

Sous Unix, tu peux utiliser alarm() pour cela. Avec windows c'est une autre paire de manches.

Mais à mon avis, il faut juste vérifier le code de retour du get(). Si ça ne marche pas, tu sleepes 60 secondes et puis tu réessayes. Tu essaies 3 fois, et au bout de trois échecs tu abandonnes. Ça couvrira 99% des problèmes de réinitialisation de la connexion de courte durée

N

Ah oki mais comment faire pour dire a perl de n'effectuer l'action que trois fois ?

J'ai encore une question sur LWP peut ton mettre LWP::RobotUA et use LWP::UserAgent; dans le même script ?

Je veut dire utilise les callback de LWP::UserAgent

par exemple le script suivant est il bon dans l'utilisation de lwp ?

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
#!/usr/bin/perl -w
use LWP::UserAgent;
use HTTP::Request;
use HTTP::Response;
use LWP::RobotUA;
 
 
	 my $ua = LWP::UserAgent->new;
	     $ua = LWP::RobotUA->new('Mozilla/5.0 (compatible; Bot/1.01)', '%%%@%%%%.com');
         $ua->agent('Mozilla/5.0 (compatible; Bot/1.01)');
         $ua->protocols_allowed( ['http'] );
         $ua->timeout(4);
         $ua->requests_redirectable( ['HEAD'] );
         # $ua->cookie_jar({ file => "$ENV{HOME}\/\.cookies\.txt" });
         $ua->max_redirect(10);
         $ua->protocols_forbidden( ['mailto','https','gopher','ftp','socks','file'] );
 
 
 
            my $request = HTTP::Request->new('GET', 'http://www.free.fr');
 
              my $res = $ua->request($request);
 
              # Check the outcome of the response
               if ($res->is_success)
                {
 
                print $res->content;
 
 
              }

Je recherche également comme toi le moyen de relancer l'agent 3 fis en cas de coupure mais cela ne marche pas ??

Voici la fonction que j'ai faite pour LWP :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
 
 
sub OpenDoc {
	my $url=@_[0];
	my $mode=@_[1];
	my $proxy=@_[2];
	my $timeout=@_[3];
	my $protocole=@_[4];
	my $apparence=@_[5];
	my $authentify=@_[6];
	my $login=@_[7];
	my $password=@_[8];
	my @contentAndBase;
	my $base;
	my $content;
	my $header;
 
	my $browser = LWP::UserAgent->new();
	$browser->agent($apparence);
	$browser->timeout($timeout);
 
	if ($mode==1) {
		$browser->proxy($protocole,$proxy);
	}
	my $request = HTTP::Request->new(GET => $url);
 
	if ($authentify==1) {
		$request->authorization_basic ("$login","$password");
	}
 
	my $response= $browser->request($request);
 
	if ($response->is_error()) {
		print FILELOG "Error with $url: " . $response->status_line . "\n";
		print "ETL Error with $url\n" . $response->status_line . "\n";
		$content= "ETL Error with $url\n" . $response->status_line . "\n";
		$base= "";
		$header="";
 
	}
	else {
		$content=$response->content();
		$base=$response->base;
		$header=$response->header(content_type);
	}
	push (@contentAndBase,$base);
	push (@contentAndBase,$content);
	push (@contentAndBase,$header);
	return @contentAndBase;
}

j'ai donc ajouter des conditions dans cette partie mais en vain ??

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
 
if ($response->is_error()) {
		print FILELOG "Error with $url: " . $response->status_line . "\n";
		print "ETL Error with $url\n" . $response->status_line . "\n";
		$content= "ETL Error with $url\n" . $response->status_line . "\n";
        $base= "";
        $header="";
        my $response= $browser->request($request);
        if ($response->is_error()) {
        .......
        .......
        .......
       }
	}
	else {
		$content=$response->content();
		$base=$response->base;
		$header=$response->header(content_type);
	}

Comment procéder ?

Merci,
panaone

L'algorithmique est la base de tout en programmation... Ce genre de question montre que vous n'en avez pas fait assez, essayez, c'est très utile !! :D

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
 
sub OpenDoc {
  my ($url, $mode, $proxy, $timeout, $protocole, $apparence,
    $authentify, $login, $password, $nb_try) = @_;
  my $base;
  my $content;
  my $header;
 
  my $browser = LWP::UserAgent->new();
  $browser->agent($apparence);
  $browser->timeout($timeout);
 
  if ($mode==1) {
    $browser->proxy($protocole,$proxy);
  }
  my $request = HTTP::Request->new(GET => $url);
 
  if ($authentify==1) {
    $request->authorization_basic ("$login","$password");
  }
 
  my $response= $browser->request($request);
 
  while ($response->is_error()) {
    $nb_try--;
    unless( $nb_try ) {
      print FILELOG "Error with $url: " . $response->status_line . "\n";
      print "ETL Error with $url\n" . $response->status_line . "\n";
      $content= "ETL Error with $url\n" . $response->status_line . "\n";
      $base= "";
      $header="";
 
      return ($base, $content, $header);
    }
    $response= $browser->request($request);
  }
 
  $content=$response->content();
  $base=$response->base;
  $header=$response->header('content_type');
 
  return ($base, $content, $header);
}

J'ai nettoyé quelque peu le code de ta fonction et rajouté un paramètre pour spécifier le nombre d'essai (à toi de voir si tu dois le mettre au début des paramètres ou lui donner une valeur par défaut).

--
Jedaï

Heu j'ai pas tout compris comment :furieux: comment ont fait la même chose pour cd script par exemple

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
#!/usr/bin/perl -w
use LWP::UserAgent;
use HTTP::Request;
use HTTP::Response;
 
 
 
    my $ua = LWP::UserAgent->new;
         $ua->agent('Mozilla/5.0 (compatible; Bot/1.01)');
         $ua->protocols_allowed( ['http'] );
         $ua->timeout(4);
         $ua->requests_redirectable( ['HEAD'] );
         # $ua->cookie_jar({ file => "$ENV{HOME}\/\.cookies\.txt" });
         $ua->max_redirect(10);
         $ua->protocols_forbidden( ['mailto','https','gopher','ftp','socks','file'] );
 
 
 
            my $request = HTTP::Request->new('GET', 'http://www.free.fr');
 
              my $res = $ua->request($request);
 
              # Check the outcome of the response
               if ($res->is_success)
                {
 
                print $res->content;
 
 
              }

C'est quand même pas si dur de faire une boucle autour de la requête tant qu'il y a erreur !!! (Et pourrais tu faire l'effort d'avoir une indentation correcte s'il te plaît : les bons éditeurs de texte font ça tout seul !)
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 #nombre d'essai de la requète my $nb_try = 3; #premier essai my $res = $ua->request($request); while( $res->is_error ){ #on diminue le nombre d'essais restant $nb_try--; #on meurt si il n'y a plus d'essais à faire die "La requète a échoué après trois essais !" unless $nb_try; #on refait un essai dans le cas contraire $res = $ua->request($request); } print $res->content;
--
Jedaï

25/08/2005, 12h46
panaone

Merci jedai , a voir le code c'était assez simple alors que je n'avais pas pensé au UNLESS !!!

ps: j'ai pourtant fait de L'algorithmie !!

Merci t'assures ...
28/08/2005, 16h37
sigeme

Mais comment faire pour gérer les coupures plus longue je veut dire j'ai un ti robot et une freebox si ma connection ce coupe , ben elle prend un petit moment avant de repartie.

Mais ma véritable intérrogation est comment écrire un cache et redémarrer de celui-ci , dans le cas d'un robot ?
31/08/2005, 11h48
Jedai

Quand on a une coupure plus longue, on rajoute quelques conditions qui font qu'à partir d'un certain nombre de "loupés", on vérifie un site de référence (google par exemple) et si ça ne marche pas, on sleep() pendant un certain temps, avant de retester google, etc...

--
Jedaï
31/08/2005, 12h31
sigeme

C'est bien ce que je pensais :) encore merci Jedai jeune padawan
31/08/2005, 16h54
GLDavid

Un petit tag Résolu si c'est OK.

@++