IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Web Perl Discussion :

Construction d'un Robot Web (HTTPS + Proxy + JS) ?!


Sujet :

Web Perl

  1. #21
    Expert éminent
    Avatar de Jedai
    Homme Profil pro
    Enseignant
    Inscrit en
    Avril 2003
    Messages
    6 245
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Côte d'Or (Bourgogne)

    Informations professionnelles :
    Activité : Enseignant

    Informations forums :
    Inscription : Avril 2003
    Messages : 6 245
    Points : 8 586
    Points
    8 586
    Par défaut
    Ok, env_proxy() n'est pas nécessaire (en fait c'est même incompatible avec la méthode $ENV{HTTPS_PROXY}... c'est plutôt pour les autres protocoles ) proxy( 'https' ... ) devrait marcher bien avec les proxy créé avec Apache et mod_proxy, mais pas aussi bien avec d'autres...

    Je pense qu'un truc comme ça pourrait marcher :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    use LWP::UserAgent;
    my $ua = LWP::UserAgent->new();
    $ua->proxy('http', 'http://http:proxy@localhost:9000');
    $ENV{HTTPS_PROXY} = 'http://localhost:9000';
    $ENV{HTTPS_PROXY_USERNAME} = 'http';
    $ENV{HTTPS_PROXY_PASSWORD} = 'proxy';
    # create and start the proxy
    my $proxy = HTTP::Proxy->new(@ARGV, agent => $ua);
    Mais je n'ai pas l'impression que tout cela marche parfaitement...

    --
    Jedaï

  2. #22
    Membre averti
    Homme Profil pro
    Consultant en Business Intelligence
    Inscrit en
    Mai 2003
    Messages
    921
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 42
    Localisation : France, Loire Atlantique (Pays de la Loire)

    Informations professionnelles :
    Activité : Consultant en Business Intelligence

    Informations forums :
    Inscription : Mai 2003
    Messages : 921
    Points : 449
    Points
    449
    Par défaut
    Voilà ce que me retourne le Proxy espion avec ce dernier code :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    [Mon Jun 18 18:22:09 2007] (664) ERROR: Getting request failed: sysread: Unknown error
    [Mon Jun 18 18:22:09 2007] (664) ERROR: Getting request failed: sysread: Unknown error
    [Mon Jun 18 18:22:09 2007] (664) ERROR: Getting request failed: sysread: Unknown error
    [Mon Jun 18 18:22:09 2007] (664) ERROR: Getting request failed: sysread: Unknown error
    J'ai l'impression qu'il essaye de lire des variables d'environnement ... j'ai essayé de les remettre, mais la connexion sur un quelconque site en HTTPS ne se fait toujours pas ...

    Je commence à croire que je n'y arriverai jamais !
    Quand on n'a pas d'tête, on a ...

  3. #23
    Expert éminent
    Avatar de Jedai
    Homme Profil pro
    Enseignant
    Inscrit en
    Avril 2003
    Messages
    6 245
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Côte d'Or (Bourgogne)

    Informations professionnelles :
    Activité : Enseignant

    Informations forums :
    Inscription : Avril 2003
    Messages : 6 245
    Points : 8 586
    Points
    8 586
    Par défaut
    Désolé pour ma suggestion... Elle était "légèrement" faussée en cela que le but de https est justement d'éviter que les informations transmises puissent être interceptées... Autrement dit : un proxy espion ne sert pas à grand chose !

    --
    Jedaï

  4. #24
    Membre averti
    Homme Profil pro
    Consultant en Business Intelligence
    Inscrit en
    Mai 2003
    Messages
    921
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 42
    Localisation : France, Loire Atlantique (Pays de la Loire)

    Informations professionnelles :
    Activité : Consultant en Business Intelligence

    Informations forums :
    Inscription : Mai 2003
    Messages : 921
    Points : 449
    Points
    449
    Par défaut
    Citation Envoyé par Jedai
    Désolé pour ma suggestion... Elle était "légèrement" faussée en cela que le but de https est justement d'éviter que les informations transmises puissent être interceptées... Autrement dit : un proxy espion ne sert pas à grand chose !

    --
    Jedaï
    Comment n'y ai-je pas pensé moi-même ?!


    Bon et bien je pense que c'est réglé ... je vais dire au DSI qu'il va être obligé d'acheter l'API nécessaire à utiliser ce site Web plutôt que je mets en place un robot en Perl ... dommage !

    Au moins j'aurais appris (un peu) un nouveau langage et de nouvelles méthodes de programmation !


    pour tout Jedaï !
    Quand on n'a pas d'tête, on a ...

  5. #25
    Expert éminent
    Avatar de Jedai
    Homme Profil pro
    Enseignant
    Inscrit en
    Avril 2003
    Messages
    6 245
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Côte d'Or (Bourgogne)

    Informations professionnelles :
    Activité : Enseignant

    Informations forums :
    Inscription : Avril 2003
    Messages : 6 245
    Points : 8 586
    Points
    8 586
    Par défaut
    Je ne vais pas essayer de te convaincre de poursuivre, car cela semble être une véritable galère... Peut-être à ta place pourrais-je m'en tirer en analysant les pages et le javascript attentivement, mais selon le prix de l'API, je ne suis pas sûr que ça ait un réel intérêt (c'est forcément très consommateur de temps et d'énergie pour un site aussi mal conçu).
    Note qu'il y a moyen de "tricher" avec l'HTTPS pour pouvoir utiliser un proxy espion, il suffit de faire croire au browser qu'il est en train de naviguer en http (en changeant toutes les liens https en liens http://special_domain, dans le javascript ou l'HTML que le proxy envoie au client et en les retraduisant dans l'autre sens), je crois que https.pl implémente partiellement cette approche dans les exemples de HTTP:roxy.

    --
    Jedaï

  6. #26
    Membre averti
    Homme Profil pro
    Consultant en Business Intelligence
    Inscrit en
    Mai 2003
    Messages
    921
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 42
    Localisation : France, Loire Atlantique (Pays de la Loire)

    Informations professionnelles :
    Activité : Consultant en Business Intelligence

    Informations forums :
    Inscription : Mai 2003
    Messages : 921
    Points : 449
    Points
    449
    Par défaut
    Apparemment, tu veux parler de ces exemples là :



    Je jète un oeil ce soir, mais je verrai réellement ça demain au boulot !
    Quand on n'a pas d'tête, on a ...

  7. #27
    Membre averti
    Homme Profil pro
    Consultant en Business Intelligence
    Inscrit en
    Mai 2003
    Messages
    921
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 42
    Localisation : France, Loire Atlantique (Pays de la Loire)

    Informations professionnelles :
    Activité : Consultant en Business Intelligence

    Informations forums :
    Inscription : Mai 2003
    Messages : 921
    Points : 449
    Points
    449
    Par défaut
    Bon ... j'arrête !

    Ca me vexe de devoir m'avouer vaincu, mais je ne vais pas passer des semaines à réaliser un robot Web pour qu'au final il ne soit pas fiable à 100% (nombreuses sécuritées, codage "anti-robot" : (Frames et JS), modifications du site Internet très (trop !) fréquentes, etc.) !


    Merci beaucoup à tous ceux qui m'ont aidé et tout particulièrement à Jedaï !


    Bonne continuation à tous.

    A une prochaine peut-être.


    Gôm
    Quand on n'a pas d'tête, on a ...

Discussions similaires

  1. HTTPS, Proxy web, et tracabilité
    Par easyzik dans le forum Sécurité
    Réponses: 12
    Dernier message: 04/10/2010, 12h38
  2. Web service, proxy et HTTPS
    Par eraim dans le forum Langage
    Réponses: 9
    Dernier message: 06/03/2007, 17h47
  3. [Débutant][HTTPS][Proxy] Récupération HTML
    Par jgavard dans le forum Entrée/Sortie
    Réponses: 2
    Dernier message: 06/11/2006, 11h06
  4. Création d'un robot web
    Par wassim_kh dans le forum Linux
    Réponses: 7
    Dernier message: 07/07/2006, 17h02
  5. Lecture d'un fichier sur le web (http)
    Par omeya4 dans le forum C++
    Réponses: 3
    Dernier message: 12/06/2006, 21h32

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo