[Débutant] Connexion en HTTPS via un Proxy ?

**ghohm** · 14/06/2007, 13h43

Bonjour à tous,

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
    #!c:/perl/bin -w
    use strict;
    use warnings;
    use WWW::Mechanize;
    use Crypt::SSLeay;
    use Data::Dumper;
    use HTML::TreeBuilder;
 
    my $url = 'https://blabla.com';
    my $usr = 'mon_login';
    my $pwd = 'mon_password';
 
    my $bot = WWW::Mechanize->new;
    $bot->get($url);
    die $bot->res->status_line unless $bot->success;
 
    # positionnement sur le 1er formulaire (indice = 1)
    $bot->form_number(1);
 
    # debug
    print Dumper $bot->current_form;
    #print Dumper +( $bot->forms )[0];    # autre formulation
 
    # nom du champ (Email) à remplir : "_blabla:email"
    $bot->field( '_blabla:email' => $usr );
 
    # nom du champ (Password) à remplir : "_blabla:password"
    $bot->field( '_blabla:password' => $pwd );
 
    # envoi du formulaire
    $bot->click();
 
    # debug
    print Dumper $bot->content;
 
    print map { $_->as_text }
      HTML::TreeBuilder
        ->new_from_content( $bot->content )
        ->look_down( _tag => 'span', id => 'id_du_champ_a_recup' );

Var d'environnement pour passer à travers le Proxy :

https_proxy => http://proxy.mycompany.com:8080
https_proxy_user => mon_login
https_proxy_password => mon_mdp

OU

https_proxy => http://mon_login:mon_mdp@proxy.mycompany.com:8080

Erreur retournée quelques soient les variables d'environnement :

U:\Robot_Web>bot.pl
407 Proxy Authentication Required at U:\Robot_Web\bot.pl line 15.

**Jedai** · 14/06/2007, 15h16

A priori tu as oublié de faire env_proxy(), cf la FAQ de WWW::Mechanize.

--
Jedaï

**ghohm** · 14/06/2007, 16h11

Envoyé par Jedai

A priori tu as oublié de faire env_proxy(), cf la FAQ de WWW::Mechanize.

--
Jedaï

Etant donné que ça ne fonctionne pas avec les variables d'environnement ... j'ai utilisé la 2ème solution, càd coder en dur les informations me permettant de me connecter au Proxy et ... ça fonctionne toujours pas !

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
    #!c:/perl/bin -w
    use strict;
    use warnings;
    use WWW::Mechanize;
    use Crypt::SSLeay;
    use Data::Dumper;
    use HTML::TreeBuilder;
 
    my $url = 'https://blabla.com';
    my $usr = 'mon_login';
    my $pwd = 'mon_password';
 
    my $bot = WWW::Mechanize->new;
    $bot->get($url);
 
    #$bot->agent_alias("Linux Mozilla");
 
    #$bot->env_proxy();
    $bot->proxy(['http', 'https', 'ftp'], 'http://mon_login:mon_mdp@proxy.mycompany.com:8080/');
 
    # debug
    #print Dumper $bot->content;
    #print Dumper $bot->response;
 
    die $bot->res->status_line unless $bot->success;
 
    # positionnement sur le 1er formulaire (indice = 1)
    $bot->form_number(1);
 
    # debug
    print Dumper $bot->current_form;
    #print Dumper +( $bot->forms )[0];    # autre formulation
 
    # nom du champ (Email) à remplir : "_blabla:email"
    $bot->field( '_blabla:email' => $usr );
 
    # nom du champ (Password) à remplir : "_blabla:password"
    $bot->field( '_blabla:password' => $pwd );
 
    # envoi du formulaire
    $bot->click();
 
    # debug
    print Dumper $bot->content;
 
    print map { $_->as_text }
      HTML::TreeBuilder
        ->new_from_content( $bot->content )
        ->look_down( _tag => 'span', id => 'id_du_champ_a_recup' );

**Jedai** · 14/06/2007, 16h27

Peut-être serait-il judicieux de spécifier le proxy avant de faire le get()....

--
Jedaï

**ghohm** · 14/06/2007, 16h41

Envoyé par Jedai

Peut-être serait-il judicieux de spécifier le proxy avant de faire le get()....

--
Jedaï

A force d'intercaler des lignes supplémentaires pour faire des tests ... j'ai fini par les mettre après le get() ... au temps pour moi !

Bon sinon j'ai désormais un autre problème :

400 Bad Request

**Jedai** · 14/06/2007, 16h50

Envoyé par ghohm

Bon sinon j'ai désormais un autre problème :

400 Bad Request

Ma foi là ça dépend de l'url. Tu as essayé avec une autre URL https pour voir si ça marche ?

--
Jedaï

**ghohm** · 14/06/2007, 16h55

Quelques test :

U:\Robot_Web>mech-dump https://signin.ebay.fr/ws/eBayISAPI.dll?SignIn
Can't fetch https://signin.ebay.fr/ws/eBayISAPI.dll?SignIn
500 Can't connect to signin.ebay.fr:443 (Bad hostname 'signin.ebay.fr')

U:\Robot_Web>mech-dump https://www.internet-mineurs.gouv.fr/
Can't fetch https://www.internet-mineurs.gouv.fr/
500 Can't connect to www.internet-mineurs.gouv.fr:443 (Bad hostname 'www.interne
t-mineurs.gouv.fr')

**Jedai** · 14/06/2007, 17h04

Tu as bien installé Crypt::SSLeay ?

Par ailleurs, tu es sûr de ton proxy (c'est le seul élément que je ne peux pas tester ici) ?

(tes deux exemples marchent chez moi)

--
Jedaï

**ghohm** · 14/06/2007, 17h29

Envoyé par Jedai

Tu as bien installé Crypt::SSLeay ?

Oui

Envoyé par Jedai

Par ailleurs, tu es sûr de ton proxy (c'est le seul élément que je ne peux pas tester ici) ?

Apparemment, il est bien béton ! Et forcément ... personne pour me renseigner aujourd'hui !

Envoyé par Jedai

(tes deux exemples marchent chez moi)

Je sais pas si je dois sauter de joie ou ...

J'ai essayé de mettre en place le script ci-dessous, mais pas mieux ...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
    #!c:/perl/bin -w
    use strict;
    use warnings;
    use LWP::UserAgent;
    use HTML::Form;
    use MIME::Base64;
 
    my ( $user, $pass ) = qw( mon_login mon_pass );
    my $token = encode_base64("$user:$pass");
 
    my $ua  = LWP::UserAgent->new();
    my $url = 'https://blabla.com';
    my $req = HTTP::Request->new( GET => $url );
 
    #$req->headers->proxy_authorization_basic( $user, $pass );
    $req->header( Authorization => "Basic $token" );
 
    # $req est un objet HTTP::Request
    my $h = $req->headers();
 
    # modifie un en-tête
    $h->header( User_Agent => 'Mozilla/5.0' );
 
    my $res = $ua->request( $req );
 
    print $res->content;

500 Can't connect to blabla.com:443 (Bad hostname 'blabla.com')

**Jedai** · 14/06/2007, 17h37

Personnellement, ceci marche :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
#!/usr/bin/perl
use strict; use warnings;
 
use WWW::Mechanize;
 
my $mech = WWW::Mechanize->new();
 
$mech->proxy('https', 'http://http:proxy@localhost:3128');
 
$mech->get('https://signin.ebay.fr/ws/eBayISAPI.dll?SignIn');
 
print $mech->content();
 
__END__

Avec un proxy lancé avec l'exemple proxy-auth.pl de HTTP::Proxy...

Essaye ça, et si ça marche, tu auras confirmation que le problème ne vient pas du proxy ou de WWW::Mechanize, mais bien de l'url utilisé (peut-être faut-il forcément certains paramètres ? Certains cookies ?).

--
Jedaï

**ghohm** · 14/06/2007, 17h46

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
#!c:/perl/bin -w
 
use strict; use warnings;
 
use WWW::Mechanize;
 
my $mech = WWW::Mechanize->new();
 
$mech->proxy('https', 'http://mon_login:mon_pass@proxy.mycompany.com:8080/');
 
$mech->get('https://signin.ebay.fr/ws/eBayISAPI.dll?SignIn');
 
print $mech->content();

Ca vient du Proxy ....

<html>

<head>
<meta content="text/html; charset=UTF-8" http-equiv="Content-Type">
<title>WebWasher - Notification</title>
<LINK REL=stylesheet HREF="http://proxy.mycompany.com:8080/wwfile?name=wwerrors_stylesheet.css">
<STYLE type="text/css">
</STYLE>
</head><body>

<table border="0" cellpadding="10" cellspacing="0" width="600">

<tr><td align="left" valign="top">
<img src="http://proxy.mycompany.com:8080/wwfile?name=images/logo_ww.gif" alt="WebWasher" width="122" height="48"></td><td><p class="notification">Notification</p></td>
</tr>
<tr>
<td colspan="2" align="left">
<p class="title">Invalid Proxy Request</p>
</td>
</tr>

<tr>

<td colspan="2" align="left" valign="top"> <p>Webwasher can only be used as an HTTP proxy server. No other protocols (FTP, etc.) or access variants are supported!
<br>
Please change your browser's settings. Perhaps you have entered Webwasher as an FTP proxy in your browser (check your browser's FTP proxy settings).
<br>
Please also check the URL you requested ("https://signin.ebay.fr/ws/eBayISAPI.dll?SignIn") for typing, syntax errors or disallowed symbols. </p>
<P> If you would like to try again, <a href="https://signin.ebay.fr/ws/eBayISAPI.dll?SignIn">click here</a>.
<p>
</td>
</tr>

<tr>
<td colspan="2" align="right" valign="top">
<hr size="1">
<small><i>generated 14/Jun/2007:17:40:41 +0200 by webwasher.mycompany.com (Webwasher 5.3.0 Build 2185)</i></small>
</td>
</tr>
</table>
</body>
</html>

**ghohm** · 15/06/2007, 10h15

Mon robot Web est loin d'être fini, mais j'arrive enfin à passer le Proxy même en HTTPS !

C'était écrit là !

Exemple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
#!c:/perl/bin -w
 
use strict; use warnings;
 
use WWW::Mechanize;
 
my $mech = WWW::Mechanize->new();
 
# PROXY SUPPORT
$ENV{HTTPS_PROXY} = 'http://proxy.mycompany.com:8080';
 
# PROXY_BASIC_AUTH
$ENV{HTTPS_PROXY_USERNAME} = 'mon_login';
$ENV{HTTPS_PROXY_PASSWORD} = 'mon_pass';
 
$mech->get('https://signin.ebay.fr/ws/eBayISAPI.dll?SignIn');
 
print $mech->content();

[Débutant] Connexion en HTTPS via un Proxy ?

Web Perl

Discussions similaires

Partager

Partager