Reconstruction d'url

Version imprimable

Voila je me suis fait un ti script pour lire les fichiers robots.txt , parce que je n'est pas réussie a faire a www::robotrules me sortire dans url complète :?

Voci mon code
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 #!C:\Perl\bin\perl.exe @EE = ("http://www.google.com/robots.txt"); @EE = find(@EE); sub find(@) { my @EE = @_; use LWP::Simple; for my $URL( @EE ) { my $B = get($URL); return $B; } } print "@EE"; print "\n"; print "----------------------------------------\n"; for $T( @EE ) { $T =~ s/Allow.*//g; print "$T"; }
je cherche a recontruire les url dans le cas de google a obtnir ceci

Citation:

http://www.google.com/search
http://www.google.com/groups
http://www.google.com/images
http://www.google.com/catalogs
http://www.google.com/catalog_list
http://www.google.com/news
http://www.google.com/nwshp
http://www.google.com/?
http://www.google.com/addurl/image?
http://www.google.com/pagead/
http://www.google.com/relpage/
http://www.google.com/sorry/
http://www.google.com/imgres
http://www.google.com/keyword/
http://www.google.com/u/
http://www.google.com/univ/
http://www.google.com/cobrand
http://www.google.com/custom
http://www.google.com/advanced_group_search
http://www.google.com/advanced_search
http://www.google.com/googlesite
http://www.google.com/preferences
http://www.google.com/setprefs
http://www.google.com/swr
http://www.google.com/url
http://www.google.com/wml?
http://www.google.com/xhtml?
http://www.google.com/imode?
http://www.google.com/jsky?
http://www.google.com/pda?
http://www.google.com/sprint_xhtml
http://www.google.com/sprint_wml
http://www.google.com/pqa
http://www.google.com/palm
http://www.google.com/hws
http://www.google.com/bsd?
http://www.google.com/linux?
http://www.google.com/mac?
http://www.google.com/microsoft?
http://www.google.com/unclesam?
http://www.google.com/answers/search?q=
http://www.google.com/local?
http://www.google.com/local_url
http://www.google.com/froogle?
http://www.google.com/froogle_
http://www.google.com/print?
http://www.google.com/scholar?
http://www.google.com/complete
http://www.google.com/sponsoredlinks
http://www.google.com/videosearch?
http://www.google.com/videopreview?
http://www.google.com/videoprograminfo?
http://www.google.com/maps?
http://www.google.com/translate?
http://www.google.com/ie?
http://www.google.com/sms/demo?

J'ai testé divers soluce a base de regXp mais la je rame trop donc Help

27/06/2005, 09h52
nematoad
Il me semble que c'est plutôt :
Code:

1 2 $T =~ s/{Disallow: (\S+)}{http://www.google.com$1}
qui va faire ce que tu cherches.

N
27/06/2005, 15h51
mobscene

Citation:

$T =~ s/{Disallow: (\S+)}{http://www.google.com$1}

marche pas

le truc c'est que je connais pas les valeurs de @EE

Voila ou j'en suis

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
#!C:\Perl\bin\perl.exe
 
 
@EE = ("http://www.google.com/robots.txt");
 
@EE = find(@EE);
 
 
sub find(@)
{
 my @EE = @_;
use LWP::Simple;
for my $URL( @EE ) {
    my $B = get($URL);
    return $B;
  }
}
 
 
 
#print "@EE";
#print "\n";
#print "----------------------------------------\n";
for $T( @EE ) {
$T =~ s/User-agent: \*//ig;
$T =~ s/Allow.*//g;
$T =~ s/Disallow: /{Disallow: (\S+)}{http:\/\/www\.google\.com\/$1}/ig;
$T =~ s/\{//ig;
$T =~ s/\}//ig;
$T =~ s/\(S\+\)//ig;
$T =~ s/.*Disallow: //ig;
$T =~ s/\/\//\//ig;
$T =~ s/http:\//http:\/\//ig;
 print "$T";
}

Citation:

$T =~ s/Disallow: /{Disallow: (\S+)}{http:\/\/www\.google\.com\/$1}/ig;

par contre faudrais changer le regXp pour qu'il marche avec @EE

Il ne me reste qu'un problème c'est comment backslashé les caractères réservé des RegXp

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
#!C:\Perl\bin\perl.exe
 
 
@EE = ("http://www.google.com/robots.txt");
 
@EE = find(@EE);
 
 
sub find(@)
{
 my @EE = @_;
use LWP::Simple;
for my $URL( @EE ) {
    my $B = get($URL);
    return $B;
  }
}
 
 
@EE = replace(@EE);
print "@EE";
 
 
 
sub replace(@)
{
@EE = @_;
 
for $Z( @EE )
{
  # Backslaché les caractères réservés
}
 
 
 
 
 
for $T( @EE ) {
$T =~ s/User-agent: \*//ig;
$T =~ s/Allow.*//g;
 
#   Remplacement
$T =~ s/Disallow: /{Disallow: (\S+)}{$Z\/$1}/ig; #$Z et hop sa marche
$T =~ s/\{//ig;
$T =~ s/\}//ig;
$T =~ s/\(S\+\)//ig;
$T =~ s/.*Disallow: //ig;
$T =~ s/\/\//\//ig;
$T =~ s/http:\//http:\/\//ig;
# print "$T";
return $T;
$T = ();
 }
}

28/06/2005, 20h13
mobscene

Personne veut m'aider pour ce regXp a la c** il faut en fait backslashé les / et . dans $Z :help:
29/06/2005, 17h45
nematoad

mais tu te fiches de les backslasher. A quoi ça sert ?

N

Heu oui c'etait une erreur. Bon j'ai encore un prb avant de faire le ménage dans le prog

Le script marche bien seulement il ne me retourne que le premier élément du tableau

Voici le code :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 #!C:\Perl\bin\perl.exe # ATTENTTION PAS PROPRE @EE = ("http://www.google.com/robots.txt","http://search.msn.fr/robots.txt"); for $X( @EE ) { @EE = find(@EE); @EE = replace(@EE); print "@EE"; # Récupération de robotx.txt sub find(@) { my @EE = @_; use LWP::Simple; for my $URL( @EE ) { my $B = get($URL); return $B; } } sub replace(@) { @EE = @_; for $T( @EE ) { $T =~ s/User-agent: \*//ig; $T =~ s/Allow.*//g; $X =~ s/\/robots\.txt//ig; $T =~ s/Disallow: /{Disallow: (\S+)}{$X\/$1}/ig; $T =~ s/\{//ig; $T =~ s/\}//ig; $T =~ s/$S\+$//ig; $T =~ s/.*Disallow: //ig; $T =~ s/\/\//\//ig; $T =~ s/http:\//http:\/\//ig; $T =~ s/^\n//ig; $T =~ s/^\n//ig; # print "$T"; return $T; $T = (); } } }
Et ce qu'il me retourne

Citation:

http://www.google.com/search
http://www.google.com/groups
http://www.google.com/images
http://www.google.com/catalogs
http://www.google.com/catalog_list
http://www.google.com/news
http://www.google.com/nwshp
http://www.google.com/?
http://www.google.com/addurl/image?
http://www.google.com/pagead/
http://www.google.com/relpage/
http://www.google.com/sorry/
http://www.google.com/imgres
http://www.google.com/keyword/
http://www.google.com/u/
http://www.google.com/univ/
http://www.google.com/cobrand
http://www.google.com/custom
http://www.google.com/advanced_group_search
http://www.google.com/advanced_search
http://www.google.com/googlesite
http://www.google.com/preferences
http://www.google.com/setprefs
http://www.google.com/swr
http://www.google.com/url
http://www.google.com/wml?
http://www.google.com/xhtml?
http://www.google.com/imode?
http://www.google.com/jsky?
http://www.google.com/pda?
http://www.google.com/sprint_xhtml
http://www.google.com/sprint_wml
http://www.google.com/pqa
http://www.google.com/palm
http://www.google.com/hws
http://www.google.com/bsd?
http://www.google.com/linux?
http://www.google.com/mac?
http://www.google.com/microsoft?
http://www.google.com/unclesam?
http://www.google.com/answers/search?q=
http://www.google.com/local?
http://www.google.com/local_url
http://www.google.com/froogle?
http://www.google.com/froogle_
http://www.google.com/print?
http://www.google.com/scholar?
http://www.google.com/complete
http://www.google.com/sponsoredlinks
http://www.google.com/videosearch?
http://www.google.com/videopreview?
http://www.google.com/videoprograminfo?
http://www.google.com/maps?
http://www.google.com/translate?
http://www.google.com/ie?
http://www.google.com/sms/demo?

alors qu'il faudrait qu'il me retourne celui de msn comme suis :

Citation:

http://search.msn.fr/results
http://search.msn.fr/keepalive/
http://search.msn.fr/static/
http://search.msn.fr/w3c/
http://search.msn.fr/cfgs/
http://search.msn.fr/schema/
http://search.msn.fr/kids/
http://search.msn.fr/Kidz/
http://search.msn.fr/pass/
http://search.msn.fr/news/
http://search.msn.fr/images/

Ou est le problème

Citation:
Envoyé par mobscene
Heu oui c'etait une erreur. Bon j'ai encore un prb avant de faire le ménage dans le prog

Le script marche bien seulement il ne me retourne que le premier élément du tableau

Voici le code :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 #!C:\Perl\bin\perl.exe # ... sub find(@) { my @EE = @_; use LWP::Simple; for my $URL( @EE ) { my $B = get($URL); return $B; } } ...
...
Ou est le problème
Ton find() retourne dès qu'il n'a vu que le premier résultat !
Code:

1 2 3 4 5 6 7 8 9 use LWP::Simple; sub find { my @resultat; for my $url( @_ ) { push @resultat, get($url); } return @resultat; }
N

01/07/2005, 22h04
mobscene

Ben sa donne toujours le même résultat :cry:

Ton problème vient de

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
sub replace(@) 
{ 
@EE = @_; 
for $T( @EE ) { 
$T =~ s/User-agent: \*//ig; 
$T =~ s/Allow.*//g; 
$X =~ s/\/robots\.txt//ig; 
$T =~ s/Disallow: /{Disallow: (\S+)}{$X\/$1}/ig; 
$T =~ s/\{//ig; 
$T =~ s/\}//ig; 
$T =~ s/\(S\+\)//ig; 
$T =~ s/.*Disallow: //ig; 
$T =~ s/\/\//\//ig; 
$T =~ s/http:\//http:\/\//ig; 
$T =~ s/^\n//ig; 
$T =~ s/^\n//ig; 
# print "$T"; 
return $T; 
$T = (); 
   } 
 }

Après un bon moment passé dessu je trouve pas de soluce .

par contre fait comme sa avec ton script c'est plus propre

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
#!C:\Perl\bin\perl.exe
 
 
##################################
# Tableau d'adresse(s)
##################################
 
@EE = ("http://www.google.com/robots.txt","http://search.msn.fr/robots.txt"); 
 
 
for $X( @EE ) {
 
 
##################################
# Appelles des fonctions
##################################
 
@EE = find(@EE); 
@EE = replace(@EE); 
print "@EE"; # Récupération de robotx.txt 
 
##################################
# Recherche des robots.txt
##################################
 
sub find {
  use LWP::Simple;
    my @resultat; 
    for my $url( @_ ) { 
        push @resultat, get($url); 
    } 
    return @resultat; 
 }
 
##################################
# Parser robots.txt
##################################
 
sub replace
{
for my $T( @_ ) {
$T =~ s/User-agent: \*//ig; 
$T =~ s/Allow.*//g; 
$X =~ s/\/robots\.txt//ig; 
$T =~ s/Disallow: /$X\/$1/ig; 
$T =~ s/\/\//\//ig; 
$T =~ s/http:\//http:\/\//ig; 
$T =~ s/^\n//ig; 
$T =~ s/^\n//ig;
$T =~ s/\n$//ig;
return $T; 
   } 
 } 
}

Il me semble que si LWP ne trouve pas le liens il renvoie undef je suppose que tu a conçue un filtre pour faire ce boulot de gestion des erreurs

Je pense qu'il faudrais utiliser push() dans replace mais je ne sais pas comment faire :? , c'est pour sa que je vais aller consulter mon fidèle amie Google

05/07/2005, 14h04
shinux2004
Heu j'avoue moi aussi je trouve pas de soluce

par contre pour être plus " propre" je ferais
Code:

1 2 $T =~ s/^\n*//ig; $T =~ s/\n$//ig;