revenir à la page précédente avec mechanize

**zaboug** · 10/06/2009, 15h08

Bonjour,

j'ai fait un script Perl qui remplit automatiquement un formulaire sur internet grâce au module WWW::Mechanize. Pour ce faire, j'ai principalement suivie l'articles suivant :
http://articles.mongueurs.net/magazines/linuxmag58.html

Le script que j'ai fait me permets de remplir automatiquement le formulaire, de suivre le lien qui renvoie à la page de résultats et de copier cette page dans un fichier local.
Je l'ai fait de la manière suivante :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
#!/usr/bin/perl -w
 
#================================================================================
# Interrogation et recuperation automatique des donnees sur le site L2L
# ATTENTION : Ne pas oublier de creer le dossier /Tmp/All_results_L2L_CX avant de lancer l'analyse.
#================================================================================
 
use strict;
use diagnostics;
use WWW::Mechanize;
use Data::Dumper;
use vars qw($opt_h $opt_f $opt_p $opt_c);
use Getopt::Std;
 
##recuperation des arguments - initialisation
getopts("hf:p:c:") or die("erreur(s) de saisie dans les options. Faire -h pour obtenir l'aide\n");
 
if (defined($opt_h))
{
	&help;
	exit;
}
elsif (!defined($opt_f) || !defined($opt_p) || !defined($opt_c))
{
	die("erreur : parametre manquant, -f, -p et -c doivent etre definis. Faire -h pour obtenir de l'aide\n");
}
 
my $url = 'http://depts.washington.edu/l2l/';
my $bot = WWW::Mechanize->new();
 
open(LOG, ">>/Users/mathilde/Dossier_partage_VM/LocaFT/logs/analyse_L2L_c$opt_c.log") or die("Impossible d'ouvrir analyse_L2L_c$opt_c.log");
 
foreach my $type ('gobiol', 'gomole', 'l2lmdb')
{
	print "\nAnalyse $type\n";
 
	$bot->get($url);
	$bot->form_number(1);
 
	#remplissage du formulaire
	$bot->set_fields(dataname => $opt_f, datafile => $opt_p, libmenu => 'hugo', listmenu=> $type);
	$bot->submit();
 
	die $bot->res->status_line unless $bot->success;
 
	$bot->follow_link(text => 'results');
 
	open(RES, ">/Users/mathilde/Dossier_partage_VM/LocaFT/resultats/analyse_L2L/All_results_L2L_C$opt_c/L2L_$opt_f"."_$type.html") or die("Impossible d'ouvrir ../resultats/analyse_L2L/All_results_L2L_C$opt_c/L2L_$opt_f"."_$type.html\n");
 
	print(RES Dumper $bot->content());
 
	close(RES);
}
 
close(LOG);
 
sub help
{
	print qq{
analyse_auto_L2L.pl va sur le site L2L, rempli le formulaire avec les parametres passes en argument, et print les resultats
 
Parametres :
	-f : nom du fichier contenant la liste des genes product
	-p : chemin d'acces au fichier a traiter.
	-c : contrainte.
 
};
}

Ce script marche bien.

La page de résultat que je récupère est en fait un tableau contenant un certain nombre d'infos, dont des liens vers d'autres pages pour avoir des infos complémentaire.
Actuellement, si je clique sur ces liens dans le fichier que j'ai copié en local, je n'obtiens rien puisque je n'ai pas copié les pages correspondant à ces liens.

Donc maintenant je voudrais améliorer mon script pour que les certains liens du fichier de résultats soient préservé en copiant aussi les pages correspondantes.

Pour faire ça, je pensais parcourir mon fichier de résultats, suivre les liens qui m'intéressent avec

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$bot->follow_link(text=>'monText')

, copier la page correspondante, et revenir à la page de résultats pour suivre le lien d'après etc...

Mais j'ai pas trouvé de méthode permettant de revenir à la page précédente. Donc avant de me lancer tête baissée dans le code, je voulais savoir s'il existait une méthode permettant de revenir à la page précédente (à la manière du backward du navigateur)?
A moins qu'il y ait une autre manière de faire plus simple/efficace?

Toute suggestion serait la bienvenue

**Jedai** · 11/06/2009, 22h14

Pour revenir en arrière il y a la méthode back() bien sûr, mais il serait bien plus simple d'utiliser find_all_links() pour trouver tous les liens qui t'intéresse et les visiter tour à tour avec une boucle foreach(){}.

--
Jedaï

**zaboug** · 12/06/2009, 09h03

merci du conseil, je test find_all_links() dès que je peux

**zaboug** · 26/06/2009, 11h32

Bonjour,

je viens de me remettre sur ce problème.
J'ai commencé à travailler avec find_all_links(), en faisant ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
my @list_link_match = $bot -> find_all_links(url_regex => qr/listmatch/i);
 
foreach my $link (@list_link_match)
{
	if(defined($link))
	{
		my $url = $link->url();
 
		$bot -> follow_link(url => $url);
		open(MATCH, '>', $path.$url) or die("Impossible d'ourvir $path"."$url\n");
 
		print(MATCH Dumper $bot->content());
 
		close(MATCH);
	}
}

avant d'en arrivé là, j'ai fait un print de chaque $url, pour vérifier qu'il y avait bien des url récupérés sur ma page.
Mais avec le code ci-dessus, j'obtiens le message d'erreur suivant :

Can't call method "url" on an undefined value at
/Library/Perl/5.8.8/WWW/Mechanize.pm line 707 (#1)
(F) You used the syntax of a method call, but the slot filled by the
object reference or package name contains an undefined value. Something
like this will reproduce the error:

$BADREF = undef;
process $BADREF 1,2,3;
$BADREF->process(1,2,3);

Uncaught exception from user code:
Can't call method "url" on an undefined value at /Library/Perl/5.8.8/WWW/Mechanize.pm line 707.
at /Library/Perl/5.8.8/WWW/Mechanize.pm line 707
WWW::Mechanize::follow_link('WWW::Mechanize=HASH(0x90a754)', 'url', 'listmatches/negative_regulation_of_cell_proliferation.html') called at ../Tmp/analyse_auto_L2L_listmagtches.pl line 71

sachant que la ligne 71 correspond à la ligne

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$bot -> follow_link(url => $url);

Je ne comprends pas pourquoi il me dit que la valeur url n'est pas définit, sachant que j'arrive à l'imprimer...

en fait, il arrive à suivre le premier lien qu'il trouve car la première page html est bien créée dans le bon dossier.
donc il se perdrait après avoir suivi le premier lien...
Du coup, j'en viens à douter de ma manière d'utiliser find_all_links()...

comment faire pour copier toutes les pages correspondant à tous les liens qu'on a récupérer ?

**zaboug** · 26/06/2009, 13h37

J'ai continué à chercher du côté de get à la place de follow_link : voici le code (pas de grand changement)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
my @list_link_match = $bot -> find_all_links(url_regex => qr/listmatch/i);
 
foreach my $link (@list_link_match)
{
	if(defined($link))
	{
		my $url = $link->url();
 
		#$bot -> follow_link(url => $url);
		$bot -> get($url);
		open(MATCH, '>', $path.$url) or die("Impossible d'ourvir $path"."$url\n");
 
		print(MATCH Dumper $bot->content());
 
		close(MATCH);
	}
}

et voici l'erreur que j'obtiens à l'exécution :

mathilde@cgmc134:~/Dossier_partage_VM/LocaFT/bin$ perl ../Tmp/analyse_auto_L2L_listmagtches.pl -f concept100_75321_BCL6 -p /Users/mathilde/Dossier_partage_VM/LocaFT/resultats/analyse_L2L/C0_5000up/concept100_75321_BCL6 -c0

Analyse gobiol
Uncaught exception from user code:
Error GETing http://depts.washington.edu/l2l/cgi-...feration.html: Not Found at ../Tmp/analyse_auto_L2L_listmagtches.pl line 67
at /Library/Perl/5.8.8/WWW/Mechanize.pm line 2615
WWW::Mechanize::_die('Error ', 'GET', 'ing ', 'URI::http=SCALAR(0x99593c)', ': ', 'Not Found') called at /Library/Perl/5.8.8/WWW/Mechanize.pm line 2602
WWW::Mechanize::die('WWW::Mechanize=HASH(0x90a548)', 'Error ', 'GET', 'ing ', 'URI::http=SCALAR(0x99593c)', ': ', 'Not Found') called at /Library/Perl/5.8.8/WWW/Mechanize.pm line 2261
WWW::Mechanize::_update_page('WWW::Mechanize=HASH(0x90a548)', 'HTTP::Request=HASH(0x92b4e0)', 'HTTP::Response=HASH(0x973810)') called at /Library/Perl/5.8.8/WWW/Mechanize.pm line 2117
WWW::Mechanize::request('WWW::Mechanize=HASH(0x90a548)', 'HTTP::Request=HASH(0x92b4e0)') called at /Library/Perl/5.8.8/LWP/UserAgent.pm line 393
LWP::UserAgent::get('WWW::Mechanize=HASH(0x90a548)', 'http://depts.washington.edu/l2l/cgi-bin/temp/uploads/concept1...') called at /Library/Perl/5.8.8/WWW/Mechanize.pm line 375
WWW::Mechanize::get('WWW::Mechanize=HASH(0x90a548)', 'listmatches/negative_regulation_of_cell_proliferation.html') called at ../Tmp/analyse_auto_L2L_listmagtches.pl line 67

Si j'ai bien compris, il ne trouve pas l'url que j'ai mis en gras. Ce qui est bizarre, c'est que l'url devrait être :

http://depts.washington.edu/l2l/cgi-...iferation.html

alors qu'il cherche

http://depts.washington.edu/l2l/cgi-...iferation.html

il y a donc un "listmatches" en trop. Mais je ne l'ajoute nul part dans le code, comment peut il être ajouté alors que je suis directement les liens récupérés par find_all_links() ?

Je suis un peu perdue là...

EDIT: des balises [url] sont automatiquement mise dans le message, donc on voit pas l'url au complet.
Donc, voici l'url que le module cherche:

.../cgi-bin/temp/uploads/concept100_75321_BCL627/listmatches/listmatches/negative_regulation_of_cell_proliferation.html

et voici celle qu'il devrait chercher:

.../cgi-bin/temp/uploads/concept100_75321_BCL627/listmatches/negative_regulation_of_cell_proliferation.html

comme dit plus haut, il y a un "listmatches" en trop...

**zaboug** · 29/06/2009, 14h03

personne n'a d'idée pour m'aider ?

**zaboug** · 29/06/2009, 15h55

bien, j'ai trouvé la solution : en fait, il fallait utiliser à la fois follow_link() et back() :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
#!/usr/bin/perl -w
 
#================================================================================
# Interrogation et recuperation automatique des donnees sur le site L2L
# ATTENTION : Ne pas oublier de creer le dossier /Tmp/All_results_L2L_CX avant de lancer l'analyse.
#================================================================================
 
use strict;
use diagnostics;
use WWW::Mechanize;
use Data::Dumper;
use vars qw($opt_h $opt_f $opt_p $opt_c);
use Getopt::Std;
 
##recuperation des arguments - initialisation
getopts("hf:p:c:") or die("erreur(s) de saisie dans les options. Faire -h pour obtenir l'aide\n");
 
if (defined($opt_h))
{
	&help;
	exit;
}
elsif (!defined($opt_f) || !defined($opt_p) || !defined($opt_c))
{
	die("erreur : parametre manquant, -f, -p et -c doivent etre definis. Faire -h pour obtenir de l'aide\n");
}
 
my $path = "/Users/mathilde/Dossier_partage_VM/LocaFT/Tmp/analyse_L2L/All_results_L2L_C$opt_c/";
 
my $url = 'http://depts.washington.edu/l2l/';
my $bot = WWW::Mechanize->new();
 
open(LOG, ">>/Users/mathilde/Dossier_partage_VM/LocaFT/logs/analyse_L2L_c$opt_c.log") or die("Impossible d'ouvrir analyse_L2L_c$opt_c.log");
 
foreach my $type ('gobiol', 'gomole', 'l2lmdb')
{
	print "\nAnalyse $type\n";
 
	$bot->get($url);
	$bot->form_number(1);
 
	#remplissage du formulaire
	$bot->set_fields(dataname => $opt_f, datafile => $opt_p, libmenu => 'hugo', listmenu=> $type);
	$bot->submit();
 
	die $bot->res->status_line unless $bot->success;
 
	#clique sur le lien results pour recuperation de la page de resultats.
	$bot->follow_link(text => 'results');
 
	#impression de la page de resultats dans le dossier All_results_L2L
	open(RES, ">", $path."L2L_$opt_f"."_$type.html") or die("Impossible d'ouvrir $path"."L2L_$opt_f"."_$type.html\n");
 
	print(RES Dumper $bot->content());
 
	close(RES);
 
	my @list_link_match = $bot -> find_all_links(url_regex => qr/listmatch/i);
 
 	foreach my $link (@list_link_match)
 	{
 		if(defined($link))
 		{
			my $url = $link->url();
 
			$bot -> follow_link(url => $url);
			open(MATCH, '>', $path.$url) or die("Impossible d'ourvir $path"."$url\n");
 
			print(MATCH Dumper $bot->content());
 
			close(MATCH);
 
			$bot -> back();
 		}
 	}
}
 
close(LOG);
 
sub help
{
	print qq{
analyse_auto_L2L.pl va sur le site L2L, rempli le formulaire avec les parametres passes en argument, et print les Tmp
 
Parametres :
	-f : nom du fichier contenant la liste des genes product
	-p : chemin d'acces au fichier a traiter.
	-c : contrainte.
 
};
}

revenir à la page précédente avec mechanize

Web Perl

Discussions similaires

Partager

Partager