Discussion :

[cassignol]

Bonsoir

Avec LWP::UserAgent comment fait on pour reprendre le chargement d'un fichier interrompu.

Je cherche l'équivalent de ce fait wget -c , l'option -c signifie "Continue getting a partially-downloaded file".

Pour plus de détail voir mon script mangafox.pl

[lennelei]

Je ne pense pas que cela soit possible avec LWP::UserAgent

[cassignol]

A l'addresse Perl & LWP ,
tout est dans le sous titre du livre "Fetching web pages, Parsing HTML, Writing Spiders, & More" .

Le fonctionnement de LWP est trés clairement expliqué avec de nombreux exemples.
Seul manque peut être HTTPS, ou alors j'ai lu trop vite ou pas tout compris,
c'est en Anglais.

Pour mon probléme, la fonction UserAgent->get() a deux options:

Range => taille des données restant à charger.

:content_cb => callback appellée pour chaque packet reçu.

A partir de là j'ai écrit le code suivant:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
 
use strict;
use LWP::UserAgent;
 
my $u = "http://www.mangafox.com/media/manga.banner.png";
my $f = "tmp.jpg"; 
 
my $ua = LWP::UserAgent->new();
 
## Uncomment for test
# unlink $f;
# system("cp tmp.jpg tmp0.jpg");
# system( "head -c 10000 tmp0.jpg > tmp.jpg" );
 
download($u, $f);
 
sub download  {
    my ($url, $file) = @_;
 
    my ($tries, @parameters, $FD);
 
    @parameters = ( $url,                  
                    ":content_cb" => sub { my ($chunk) = @_;
                                           print $FD $chunk;
                                         } 
                  ); 
    $tries = 4;
 
    while ( $tries ) {
 
        open($FD, ">>$file") || die "ERROR: $!";      
 
        my $bytes = -s $file;        
        if ( $bytes > 0 ) { push(@parameters, "Range" => "bytes=$bytes-" ) }
 
        my $res =$ua->get( @parameters );
        print $res->status_line . "\n";
        close $FD;
 
        # 416 Requested Range Not Satisfiable (fichier dejà complétement chargé)
 
        if ( $res->is_success || $res->code == 416 ) { return }        
        $tries --;
    }
 
    die "ERROR: download $url";   
}
 
# Test avec ImageMagick
system("identify tmp.jpg");

Ca a l'air de marcher. Mais que ce passe t'il si le serveur ne traite pas la directive
HTTP Range ?

[lennelei]

Autant pour moi =)

Merci pour le lien, ça semble fort instructif ... mais pour ton problème, je ne sais pas : il faudrait faire un test. Soit tu recevras une erreur (auquel cas, tu dois reprendre le téléchargement depuis le début), soit tu ne reçois pas d'erreur et le paramètre est ignoré (le téléchargement reprend donc depuis le début :p). Bref, dans tous les cas, tu devras reprendre depuis le début