Submit d'un formulaire depuis un script perl

Version imprimable

31/03/2010, 11h42
jaljal

Submit d'un formulaire depuis un script perl

Bonjour,

je voudrais automatiser le submit d'un formulaire en post method (ajout d'un article) de mon site en passant par un script perl en ouvrant bien sur une session authentifié.

Si ceci est faisable par un script perl, quel modules dois-je utiliser ?

Merci
31/03/2010, 11h53
Mr6

Il te faut LWP et UserAgent ;)

@+
Mr6
31/03/2010, 12h02
jaljal

Ok, merci Mr6, je vais y voir :P
31/03/2010, 12h24
Philou67430

Voir aussi HTML::Form et HTTP::Cookies
C'est ce que j'utilise en ce moment avec les modules donnés par Mr6, avant de migrer vers WWW::Mechanize

configuration du proxy

Je voudrais tester ce script :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
 
#!/usr/bin/perl
 
use strict;
use LWP::UserAgent;
my $content;
 
my $ua = new LWP::UserAgent;
 
# Various enhancement possibilities:
# $ua->max_size(100000);  # 100k byte limit
# $ua->timeout(3);        # 3 sec timeout is default
$ua->proxy(['http'], '10.0.0.14:8080');  # set proxy
# $ua->env_proxy()        # load proxy info from environment variables
# $ua->no_proxy('localhost', 'mycorp.com');   # No proxy for local machines
 
$ua->agent("Mozilla 3.6.2");  # Or something equally mysterious
 
my $req = new HTTP::Request GET => 'http://mycorp.com/';
my $res = $ua->request($req);
 
if ($res->is_success) 
{
  $content= $res->content;
} 
else 
{
  die "Could not get content";
}

je suis connecté dernière le proxy 10.0.0.14 port:8080, comment le configurer dans le code si dessus qui me génère la sortie suivantes:

Code:

1
2
 
Proxy must be specified as absolute URI; '10.0.0.14:8080' is not at C:/Documents and Settings/morsi/workspace/perlProject/lwp.pl line 12

Merci

31/03/2010, 13h42
Mr6

Code:

$ua->proxy(['http'], 'http://10.0.0.14:8080'); # set proxy

Ca devrait mieux passer.

@+
Mr6
31/03/2010, 15h14
jaljal

OUI, ça marche maintenant :ccool:, Merci

J'ai réussi à faire un submit d'un formulaire par ce script :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
 
#!/usr/bin/perl
# Script to emulate a browser for posting to a 
#   CGI program with method="POST".
 
# Specify the URL of the page to post to.
my $URLtoPostTo = "http://blog.pexiweb.be/demo/form/traitement.php";
 
# Specify the information to post, the form field name on 
#   the left of the => symbol and the value on the right.
my %Fields = (
   "champ" => "Hello World !"   
);
# As seen above, "@" must be escaped when quoted.
 
# If you want to specify a browser name, 
#   do so between the quotation marks. 
#   Otherwise, nothing between the quotes.
my $BrowserName = "This Be Mine";
 
# It's a good habit to always use the strict module.
use strict;
 
# Modules with routines for making the browser.
use LWP::UserAgent;
use HTTP::Request::Common;
 
# Create the browser that will post the information.
my $Browser = new LWP::UserAgent;
 
#$Browser->proxy(['http'], 'http://10.0.0.14:8080');
 
# Insert the browser name, if specified.
if($BrowserName) { $Browser->agent($BrowserName); }
 
# Post the information to the CGI program.
my $Page = $Browser->request(POST $URLtoPostTo,\%Fields);
 
# Print the returned page (or an error message).
print "Content-type: text/html\n\n";
if ($Page->is_success) { print $Page->content; }
else { print $Page->message; }
 
# end of script

comment faire pour que ce submit sera lié à mon login et password du site (un autre site qui nécessite l'authentification ) ?!

Merci

31/03/2010, 20h43
Philou67430

Si la session est gérée par des cookies, utilise le module HTTP::Cookies dont j'ai donné l'aide plus haut.
Si tu veux un exemple d'utilisation, je peux extraire des parties de mon code. Mais c'est assez simple d'usage, il suffit de le lier à l'objet $Browser.
31/03/2010, 23h17
jaljal
OUI, la session est gérée par des cookies et je voudrais bien un exemple d'utilisation :).

Le cookie en question et sauvegarder via le navigateur Firefox 3.6.2.
Est ce que je devrais ajouter cette ligne :
Code:

1 2 $Browser->agent("Firefox 3.6.2");
Merci

Exemple:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
use HTTP::Cookies;
...
my $ua = LWP::UserAgent->new;
$ua->agent("mybot/$version");
 
my $cookies = HTTP::Cookies->new(file => $config{"cookie_file"},
				 autosave => 1,
				 ignore_discard => 1);
$ua->cookie_jar($cookies);
...
 
    $res = $ua->request( $login_req );
    if ($res->is_success) {
      $cookies->extract_cookies($res);
      print "Logged in.\n";
    } else {
      die "Login failed: ", $res->status_line;
    }
 
...

Plus feignant :

Code:

1
2
3
my $headers = HTTP::Headers->new('Cookie' => ''); #inserer le cookie ici
my $req = new HTTP::Request('GET',"$url", $headers);
my $res = $ua->request($req);

@+
Mr6

02/04/2010, 20h01
Philou67430

Faut gérer les cookies dans ce cas ??? Si j'ai bien compris, l'intérêt de HTTP::Cookies, c'est de les extraire et de les renvoyer automatiquement dans le header sans avoir à y travailler...
Je me trompe ? (j'avoue avoir simplement suivi le tuto sans avoir cherché le pourquoi du comment).
06/04/2010, 08h28
Mr6

Ben la j'extraie mon cookie, je le colle et basta. Si j'ai plusieurs urls à poster avec ben je me le garde au chaud et c'est toujours le même qui sert.
Plus concretement j'ai une fonction d'appel à une url, que je paramètre comme je veux en lui filant le cookie de cette façon, si c'est du get/post ou si j'utilise un proxy. Et je l'appelle à tours de bras si le but est de crawler un site entier ;)

@+
Mr6
06/04/2010, 10h04
Philou67430

Ce que je voulais dire, c'est qu'avec le module, la gestion des cookies est transparente, il n'est pas nécessaire de les extraire et de les ajouter, ça se fait "tout seul" (c'est notamment intéressant par le fait que parfois, il y a plusieurs cookies qui définissent une session, me semble-t-il, comme la connexion à un forum).
06/04/2010, 10h43
Mr6

C'est surtout que j'ai pas pris le temps de tester via le module, faut être honnete ;)

@+
Mr6
06/04/2010, 13h17
Philou67430

Ah, ok. En fait, j'utilisais ta méthode avant, et maintenant, je ne me soucie plus de connaitre les cookies utilisés, de les extraire et de le restituer à la demande. Fait l'essai, et tu devrais trouver une grande facilité d'usage.
Par ailleurs, tu peux parcourir la liste des cookies actifs sous forme d'un hashage. Intéressant pour savoir rapidement tu as été déconnecté automatiquement par exemple (le cookie n'est plus envoyé). Enfin, il me semble que c'est un moyen de le savoir (parmi d'autres), ou de savoir l'inverse, si tu es encore connecté entre deux exécutions du même script.

comment faire pour afficher mon username et mon passwd stocké dans un cookie nommé cookies.txt
Code:

1 2 3 4 5 6 my $ua = LWP::UserAgent->new( agent => 'Firefox/3.6.3', cookie_jar => HTTP::Cookies->new( file => 'cookies.txt', autosave => 1, ignore_discard => 1));
Merci

07/04/2010, 07h15
Mr6

hummm, j'espère qu'il n'y a pas de réponse à cette question ;)

@+
Mr6
07/04/2010, 09h01
Philou67430

Le fichier cookies.txt est un fichier texte associant les noms des cookies avec leur valeur (il est aussi possible d'accéder au contenu des cookies par un déréferencement du hash $cookies->{COOKIES} ... bizarrement, je ne sais pas où j'ai vu cela, vu que ce n'est pas documenté).
En revanche, le codage des valeurs étant à la discrétion du serveur, le contenu de ces données ne sera pas lisible en clair.
Par contre, il se peut que lors du remplissage du formulaire de login, tu doives élaborer des champs cachés à partir des données saisies (par codage MD5 par exemple : use Digest::MD5 qw(md5_hex);). Ceci étant réalisé par un script Javascript dans la page HTML, tu devras le retranscrire en perl et remplir les champs adhoc avant de soumettre ton formulaire.
07/04/2010, 10h24
jaljal
Ok, merci pour cette explication.

je conclus que pour le submit d'un formulaire (ajout d'un article) qui nécessite l'authentification, je dois écrire la ligne suivante qui contient mon login et mon password (déjà généré par perl dans le fichier cookies.txt) :
Code:

1 2 $ua->cookie_jar($cookies);
puis, charger, remplir et valider le formulaire ?!

Merci
07/04/2010, 12h50
Philou67430

Oui, et n'oublie pas d'appeler $cookies->extract_cookies($res) avec la réponse $rep à la soumission du formulaire de login. C'est à ce moment seulement que les cookies seront présents.
Ensuite, tu peux sauver les cookies dans le fichier texte par $cookies->save() (pour un usage futur éventuel dans une nouvelle instance du script, en relisant le fichier avec $cookies->load()).