Problème d'accentuation sur la récupération d'une page web

**franpom** · 06/01/2014, 15h23

Bonjour,

J'ai un problème de retour des caractère accentué qui ne fonctionne pas.
Pouvez vous m'orienter vers une solution ?
Mon code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
use strict;
use utf8;
use warnings qw(all);
 
use Data::Dumper;
use Encode;
use LWP;
 
my $href;
my @ligne;
my $a;
 
    my $url = 'http://export.openstreetmap.fr/contours-administratifs/communes/';
    my $ua = LWP::UserAgent->new;
    $ua->agent( 'Mozilla/5.0' );
    my $response = $ua->get( $url );
    $response->decoded_content((charset => 'utf-8'));
    my $content = $response->content;
    $content = decode( 'utf-8', $content ); # la page est en utf-8, alors on decode l'utf-8
#    print Dumper($content);
    @ligne = split(/\n/,$content);
    foreach $a (@ligne){
#        print $a."\n";
            if ($a =~ /<td><a href="([0-9].+gz)">.*<\/a>/) {
                $href = $1;
                my $url_shp = "http://export.openstreetmap.fr/contours-administratifs/communes/".$href;
                print $url_shp."\n";
            }
    }

Voilà le type de retour que j'ai : http://export.openstreetmap.fr/conto...ommunes/07-Ard%c3%a8che.shp.tar.gz

Merci d'avance pour votre retour
Franpom

**dmganges** · 06/01/2014, 17h24

Bonjour,

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

<tr><td valign="top"><img src="/icons/compressed.gif" alt="[   ]"></td><td><a href="07-Ard%c3%a8che.shp.tar.gz">07-Ardèche.shp.tar.gz</a></td><td align="right">05-Jan-2014 19:18  </td><td align="right">2.7M</td><td>&nbsp;</td></tr>

J'ai regardé la page il n'y a pas de CHARSET !
Mais peu importe...

Les noms dans le href sont codés en dur avec des % :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

<a href="07-Ard%c3%a8che.shp.tar.gz">

Pour construire le nom du fichier, il te faut prendre la zone qui suit le .gz">

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

07-Ardèche.shp.tar.gz

**dmganges** · 06/01/2014, 18h45

Je découpe comme un cochon, d'autre ici plus expérimentés te donneront de meilleures solutions...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
use strict;
use utf8;
use encoding 'utf8';
use warnings qw(all);
 
use Data::Dumper;
use Encode;
use LWP;
 
ActiverAccentDOS();
sub ActiverAccentDOS {
  my ($codepage) = ( `chcp` =~ m/:\s+(\d+)/ );
  foreach my $h ( \*STDOUT, \*STDERR, \*STDIN ) {
    binmode $h, ":encoding(cp$codepage)";
  }
}
 
my $href;
my @ligne;
my $a;
 
    my $url = 'http://export.openstreetmap.fr/contours-administratifs/communes/';
    my $ua = LWP::UserAgent->new;
    $ua->agent( 'Mozilla/5.0' );
    my $response = $ua->get( $url );
    $response->decoded_content((charset => 'utf-8'));
    my $content = $response->content;
    $content = decode( 'utf-8', $content ); # la page est en utf-8, alors on decode l'utf-8
 
#    print Dumper($content);
    @ligne = split(/\n/,$content);
    foreach $a (@ligne){
#			print $a."\n";
			my @RepT = split /gz\">/, $a;
			if ( $RepT[1] ) {
				#	print $RepT[1] ."\n";
				@RepT = split /<\/a><\/td>/, $RepT[1];
				my $url_shp = "http://export.openstreetmap.fr/contours-administratifs/communes/".$RepT[0];
				print $url_shp."\n";
			} 
    }
 
=pod
 
 
<tr><td valign="top"><img src="/icons/compressed.gif" alt="[   ]"></td><td><a href="07-Ard%c3%a8che.shp.tar.gz">07-Ardèche.shp.tar.gz</a></td><td align="right">05-Jan-2014 19:18  </td><td align="right">2.7M</td><td>&nbsp;</td></tr>

**franpom** · 06/01/2014, 21h41

Merci pour t'as réponse, mais ça ne marche pas directement :
Moi j'ai ça :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

<tr><td valign=\"top\"><img src=\"/icons/compressed.gif\" alt=\"[   ]\"></td><td><a href=\"09-Ari%c3%a8ge.shp.tar.gz\">09-Ari\x{e8}ge.shp.tar.gz</a></td><td align=\"right\">06-Jan-2014 19:19  </td><td align=\"right\">853K</td><td>&nbsp;</td></tr>

Donc même après le href, j'ai les codes hexa de l'utf8

Quand j’exécute ton script : j'ai

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
Can't exec "chcp": Aucun fichier ou dossier de ce type at ./creation_kml-test.pl line 13.
Use of uninitialized value in pattern match (m//) at ./creation_kml-test.pl line 13.
Use of uninitialized value $codepage in concatenation (.) or string at ./creation_kml-test.pl line 15.
Cannot find encoding "cp" at ./creation_kml-test.pl line 15.
Use of uninitialized value $codepage in concatenation (.) or string at ./creation_kml-test.pl line 15.

Edit : Normal cela ne fonctionne que sous windows mais sous linux il y a une solution : http://perl.developpez.com/faq/perl/?page=Terminal

Merci pour la voie que tu m'a ouverte :
Voilà la solution grâce au lien du dessus :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
#!/usr/bin/env perl
use strict;
use utf8;
use encoding 'utf8';
use warnings qw(all);
 
use Data::Dumper;
use Encode;
use LWP;
 
ActiverAccents();
sub ActiverAccents {
    my $encodage;
    # Windows
    if ( lc($^O ) eq 'mswin32') {
        eval {
            my ($codepage) = ( `chcp` =~ m/:\s+(\d+)/ );
            $encodage = "cp$codepage";
            foreach my $h ( \*STDOUT, \*STDERR, \*STDIN, ) {
                binmode $h, ":encoding($encodage)";
            }
        };
    }
    else {
        $encodage = `locale charmap`;
        eval {
            foreach my $h ( \*STDOUT, \*STDERR, \*STDIN, ) {
                binmode $h, ":encoding($encodage)";
            }
        };
    }
  return $encodage;
}
my $href;
my @ligne;
my $a;
 
    my $url = 'http://export.openstreetmap.fr/contours-administratifs/communes/';
    my $ua = LWP::UserAgent->new;
    $ua->agent( 'Mozilla/5.0' );
    my $response = $ua->get( $url );
    my $content = $response->content;
    $content = decode( 'utf-8', $content ); # la page est en utf-8, alors on decode l'utf-8
 
#    print Dumper($content);
    @ligne = split(/\n/,$content);
    foreach $a (@ligne){
#           print $a."\n";
            my @RepT = split /gz\">/, $a;
            if ( $RepT[1] ) {
                #   print $RepT[1] ."\n";
                @RepT = split /<\/a><\/td>/, $RepT[1];
                my $url_shp = "http://export.openstreetmap.fr/contours-administratifs/communes/".$RepT[0];
                print $url_shp."\n";
            }
    }

**dmganges** · 07/01/2014, 04h19

Oui, pardon, j'étais un peu pressé et j'ai omis de préciser que j'étais sous W7 et d'où provenait ActiverAccents() ...
Merci d'avoir collé le lien de la boîte à outils, celle de developpez pas celle de Hollande

Si c'est [Résolu] pense à cliquer sur le bouton qui va bien

Problème d'accentuation sur la récupération d'une page web

Langage Perl

Vue hybride

Discussions similaires

Partager

Partager