Construction d'un Robot Web (HTTPS + Proxy + JS) ?!

Ok, env_proxy() n'est pas nécessaire (en fait c'est même incompatible avec la méthode $ENV{HTTPS_PROXY}... c'est plutôt pour les autres protocoles ) proxy( 'https' ... ) devrait marcher bien avec les proxy créé avec Apache et mod_proxy, mais pas aussi bien avec d'autres...

Je pense qu'un truc comme ça pourrait marcher :

Code:

---

1 2 3 4 5 6 7 8

use LWP::UserAgent; my $ua = LWP::UserAgent->new(); $ua->proxy('http', 'http://http:proxy@localhost:9000'); $ENV{HTTPS_PROXY} = 'http://localhost:9000'; $ENV{HTTPS_PROXY_USERNAME} = 'http'; $ENV{HTTPS_PROXY_PASSWORD} = 'proxy'; # create and start the proxy my $proxy = HTTP::Proxy->new(@ARGV, agent => $ua);

---

Mais je n'ai pas l'impression que tout cela marche parfaitement...:aie:

--
Jedaï

Voilà ce que me retourne le Proxy espion avec ce dernier code :

Code:

---

1 2 3 4

[Mon Jun 18 18:22:09 2007] (664) ERROR: Getting request failed: sysread: Unknown error [Mon Jun 18 18:22:09 2007] (664) ERROR: Getting request failed: sysread: Unknown error [Mon Jun 18 18:22:09 2007] (664) ERROR: Getting request failed: sysread: Unknown error [Mon Jun 18 18:22:09 2007] (664) ERROR: Getting request failed: sysread: Unknown error

---

J'ai l'impression qu'il essaye de lire des variables d'environnement ... j'ai essayé de les remettre, mais la connexion sur un quelconque site en HTTPS ne se fait toujours pas ...

Je commence à croire que je n'y arriverai jamais ! :ouin:

Désolé pour ma suggestion... Elle était "légèrement" faussée en cela que le but de https est justement d'éviter que les informations transmises puissent être interceptées... Autrement dit : un proxy espion ne sert pas à grand chose !

--
Jedaï

Citation:

---

Envoyé par Jedai

Désolé pour ma suggestion... Elle était "légèrement" faussée en cela que le but de https est justement d'éviter que les informations transmises puissent être interceptées... Autrement dit : un proxy espion ne sert pas à grand chose !

--
Jedaï

---

Comment n'y ai-je pas pensé moi-même ?! :roll:


Bon et bien je pense que c'est réglé ... je vais dire au DSI qu'il va être obligé d'acheter l'API nécessaire à utiliser ce site Web plutôt que je mets en place un robot en Perl ... dommage ! :?

Au moins j'aurais appris (un peu) un nouveau langage et de nouvelles méthodes de programmation !


:merci: pour tout Jedaï ! ;)

Je ne vais pas essayer de te convaincre de poursuivre, car cela semble être une véritable galère... Peut-être à ta place pourrais-je m'en tirer en analysant les pages et le javascript attentivement, mais selon le prix de l'API, je ne suis pas sûr que ça ait un réel intérêt (c'est forcément très consommateur de temps et d'énergie pour un site aussi mal conçu).
Note qu'il y a moyen de "tricher" avec l'HTTPS pour pouvoir utiliser un proxy espion, il suffit de faire croire au browser qu'il est en train de naviguer en http (en changeant toutes les liens https en liens http://special_domain, dans le javascript ou l'HTML que le proxy envoie au client et en les retraduisant dans l'autre sens), je crois que https.pl implémente partiellement cette approche dans les exemples de HTTP::Proxy.

--
Jedaï

Apparemment, tu veux parler de ces exemples là :

• https.pl

Je jète un oeil ce soir, mais je verrai réellement ça demain au boulot ! ;)

Bon ... j'arrête !

Ca me vexe de devoir m'avouer vaincu, mais je ne vais pas passer des semaines à réaliser un robot Web pour qu'au final il ne soit pas fiable à 100% (nombreuses sécuritées, codage "anti-robot" : (Frames et JS), modifications du site Internet très (trop !) fréquentes, etc.) ! :bug:


Merci beaucoup à tous ceux qui m'ont aidé et tout particulièrement à Jedaï ! :hola:


Bonne continuation à tous.

A une prochaine peut-être.


Gôm