Interpréter un parametre en motif

Version imprimable

04/05/2009, 10h43
mensoif

(resolu) Interpréter un parametre en motif
Bien le bonjour,
pour une analyse syntaxique j'utilise les fonctions index, substr etc. La chose est que j'aurais aimé passer directement des motifs à ces fonctions.

J'ai essayé les formulations suivantes :
Code:

1 2 3 4 my $phrase = "bonjour blabla\n"; my $pos = index ($phrase, /$pat/, 0); # avec comme init my my $pat = "bla"; my $pos = index ($phrase, $pat, 0); # avec comme init my $pat = /bla/;
Sachant que je fais appel à index et substr dans une fonction, il faut donc que je lui passe les motif en paramètre et qu'il soit interprété localement par ces fonctions et pas avant.

J'espère avoir été assez clair. Merci
04/05/2009, 10h50
Jasmine80

Code:

my $pos = index ($phrase, $pat, 0); # avec comme init my $pat = /bla/;

Je ne comprends pas ce que tu veux faire exactement ... pourquoi utiliser des slash? Pourquoi mettre 0 en troisième argument de la fonction indexe? Ou est le substring?

Est-ce juste le faite de passer un argument à ta fonction qui pose problème ou est-ce la façon dont utiliser indexe() et subtr()?

une expression régulière ne ferait-elle pas ce que tu veux?

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
#!/usr/local/bin/perl
 
use strict;
use warnings;
 
 
my $phrase = "bonjour blabla\n";
 
my $pat = 'bla';
 
 
if ($phrase =~ m/^(.*?)($pat)(.*)$/){
 
	my $start = $1;
	my $pos_pat = $-[2];
	my $end = $2;
 
	print "$start\n$pos_pat\n$end\n";
}

Citation:

bonjour
8
bla

Citation:

Envoyé par Jasmine80

Code:

my $pos = index ($phrase, $pat, 0); # avec comme init my $pat = /bla/;

Je ne comprends pas ce que tu veux faire exactement ... pourquoi utiliser des slash? Pourquoi mettre 0 en troisième argument de la fonction indexe? Ou est le substring?

Est-ce juste le faite de passer un argument à ta fonction qui pose problème ou est-ce la façon dont utiliser indexe() et subtr()?

Je vais commencer par te répondre. J'ai mis des slash parce que en faisant ceci :

Code:

if ( $regexp =~ /$pattern/ )

Je pouvais utiliser le contenu de la variable pattern comme motif. C'est pour cela que j'ai tester les paramètres avec les slashs.

Pour ce qui est de la suite, désolé mais j'ai voulus simplifier mon code ( un peu trop d'ailleurs :p).

Le problème est un peu plus compliqué en réalité.

voici la fonction appellée :
Code:

1 2 3 4 5 6 7 8 9 10 sub chunker { my ($starttok,$endtok,$where,$str) = @_; # renvoie la position my $startcut = index($str, $starttok, $where) + length($starttok); my $endcut = index($str, $endtok, $startcut+1); my $returner = substr ($str, $startcut, $endcut - $startcut); my @res = ($endcut,$returner); return @res; }
Fonction que j'appelle comme cela :

et où la variable tok_1_beg contient, par exemple, un string indiquant ce qui précede l'url par exemple, et $tok_1_end indique le string qui marque la fin de l'url. Ce code me permet ainsi de récuperer trois informations que je stocke dans tok1, tok2 et tok3.
Code:

1 2 3 ($pos, $tok1) = chunker($tok_1_beg, $tok_1_end, 0, $chunk); ($pos, $tok2) = chunker($tok_2_beg, $tok_2_end, $pos, $chunk); ($pos, $tok3) = chunker($tok_3_beg, $tok_3_end, $pos, $chunk);
Ma volonté est de faire passer, à la place de string pur (rigide à l'utilisation) des expressions régulières. Et le problème vient ensuite de l'intèrprétation de ces reg exp, car index et substr ne les interpretent pas.

Tous de suite ca devient un peu plus indigeste, mais j'espère que c'est plus clair dans ton esprit. Merci tous de même de te pencher sur mon topic :)

04/05/2009, 12h51
Jasmine80

Sans un exemple avec des valeurs concrètes de positions et de motifs recherchés, c'est difficile de te réponde. Une expression régulière devrait néanmoins rendre cette recherche bien plus simple.
Regarde si le code que je t'ai précédemment donné ne peut pas te servir.
04/05/2009, 14h42
mensoif

D'accord, je vais tester ça., malheureusement pas tout de suite.. j'ai masse de truc à faire, je me bouge pour essayer de le test avant la fin d'aprem. Merci à toué.

Erf, j'ai eu un contre-temps.. mais je reviens avec tous plein d'info !! =)

Alors j'ai commencer à retranscrire un peu tout ca, j'annonce c'est gore :
Je trouve d'ailleurs cela étrange, je dois passer devant quelque chose car le seul fait de vouloir utiliser des expressions rationnelles dans les fonctions index transfrome tous cela en monstre difforme...

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
 
sub cutteregexp {
	my ($starttok,$endtok,$where,$old_str) = @_;
 
	my @res = ();
 
 
	my $startcut;
  # substr sans l'elements length (permet ainsi de slectionner toute la partie à droite de l'offset)
	my $str = substr ($old_str, $where);
		# est ce que le fait de mettre $- [0] pour /($motif)/ m'assure bien que j'ai la premiere occurence 
		# pattern entier
  	if ( $str =~ m/($starttok){1}?/ ) {
# pas totalement exact mais vaut 0 pour le premier des appels.
		print "[0] = ".$- [0]."\n";
		$startcut = $- [0] + length ($starttok);
	}
 
	print '$startcut vaut '.$startcut."\n";
 
	my $endcut;
	$str = $'; #' str prend pour valeur toute la sous-chaine 
		       # qui suit la sous-chaine matchante
  	if ( $str =~ m/($endtok){1}?/ ) {
		$endcut = $-[1] + $startcut ;
		print "[0] = ".$- [0]."\n";
 
	}
 
	print '$endcut vaut '.$endcut."\n";
 
	my $returner = substr ($old_str, $startcut, $endcut);
 
	print '$returner vaut '.$returner."\n";
	push @res, $endcut;
	push @res, $returner;
	return @res;
 
}

qui devrait être l'équivalent de

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
 
sub cutter {
	my ($starttok,$endtok,$where,$str) = @_;
	# renvoie la position 
	my $startcut = index($str, $starttok, $where) + length($starttok);
	my $endcut = index($str, $endtok, $startcut+1);
	my $returner = substr ($str, $startcut, $endcut - $startcut);
	my @res;
 
	print '$startcut vaut '.$startcut."\n";
	print '$endcut vaut '.$endcut."\n";
	print '$returner vaut '.$returner."\n";
 
 
	push @res, $endcut;
	push @res, $returner;
	return @res;
}

malheureusement, je n'ai pas un affichage totalement adéquat. ^o)

Ensuite pour éclairer un peu le code, je vous propose un exemple assez basic qui illustre bien l'utilisation.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
 
#!/usr/bin/env perl
 
use strict;
use warnings;
 
sub cutter { ... }
 
 
sub cutteregexp { ... }
 
my $path_file = "search_google.html";
 
open (TXT_FILE, "<$path_file"); 
my $result;
while (<TXT_FILE>) {
	$result .= $_;
}
close (TXT_FILE);
my ($beg, $pos, $end) = 0;
 
while (1) {
 
	my ($snippet, $url, $summary, $heading) = "";
 
	my $tok1 = "<a href=\"";
	my $tok2 = "\"";
	my $tok3 = ">";
	my $tok4 = "</a>";
	my $tok5 = "<font size=-1>";
	my $tok6 = "<br>";
    my $google_tok = "<li class=g>";
 
	# on releve l'intervalle du prochain snippet de code
	$beg = index($result, $google_tok, $beg);
	$end = index($result, $google_tok, $beg + 1);
 
	# test si une occurence du mot clef a bien été trouvé, sinon sort
	if ($beg == -1 || $end == -1 || $beg == $end) {
		last;
	}
 
        # where $result est par exemple le html d'une recherche google !! 
	# déclaration : bout de code, sa position, et les champs à extraire
	$snippet = substr($result, $beg, $end - $beg);
 
# appelle de la fonction qui traite les chaine simple
	($pos, $url) = cutter($tok1,$tok2, 0, $snippet);
	($pos, $heading) = cutter($tok3, $tok4, $pos, $snippet);
	($pos, $summary) = cutter($tok5, $tok6, $pos, $snippet);
 
# appelle de la fonction qui traite les chaines contenant des expressions régulieres
#	($pos, $url) = cutteregexp($tok1,$tok2, 0, $snippet);
#	($pos, $heading) = cutteregexp($tok3, $tok4, $pos, $snippet);
#	($pos, $summary) = cutteregexp($tok5, $tok6, $pos, $snippet);
	print "Title   : ".$tok2."<br>";
	print "content : ".$tok3."<br>";
	print "URL     : ".$tok1."<br>";
	$beg = $end;
}

Qui permet d'afficher les résultats, resumés et titre si le fichier analysé est un source html d'une page du moteur de recherche Google.

Je vais continuer à essayer de le rendre juste. Je posterais les avancées.

Citation:

Envoyé par mensoif

Je trouve d'ailleurs cela étrange, je dois passer devant quelque chose car le seul fait de vouloir utiliser des expressions rationnelles dans les fonctions index transfrome tous cela en monstre difforme..

^^ c'était un conseil sensé améliorer le code ^^ pas l'inverse

Alors, en effet tu sembles tout compliquer
Pourrais-tu me donner 1 exemple du contenu de $result et m'expliquer ce que tu veux récupérer dans
Code:

1 2 3 4 # appelle de la fonction qui traite les chaine simple ($pos, $url) = cutter($tok1,$tok2, 0, $snippet); ($pos, $heading) = cutter($tok3, $tok4, $pos, $snippet); ($pos, $summary) = cutter($tok5, $tok6, $pos, $snippet);
Donc, si tu pouvais expliquer en français, de A à Z, ce que tu veux faire exactement, au lieu de balancer un code difficile à comprendre, ça serait très utile.

Sinon par exemple pour
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 while (1) { my ($snippet, $url, $summary, $heading) = ""; my $tok1 = "<a href=\""; my $tok2 = "\""; my $tok3 = ">"; my $tok4 = "</a>"; my $tok5 = "<font size=-1>"; my $tok6 = "<br>"; my $google_tok = "<li class=g>"; # on releve l'intervalle du prochain snippet de code $beg = index($result, $google_tok, $beg); $end = index($result, $google_tok, $beg + 1); # where $result est par exemple le html d'une recherche google !! # déclaration : bout de code, sa position, et les champs à extraire $snippet = substr($result, $beg, $end - $beg); # test si une occurence du mot clef a bien été trouvé, sinon sort if ($beg == -1 || $end == -1 || $beg == $end) { last; }
Cela semble pouvoir se simplifier par quelque chose comme
Code:

1 2 3 4 5 # tant que le mot clé est trouvé dans $result while ($result =~ m/<li class=g>(.*)<li class=g>/g){ # récupération de ce qui se trouve entre les 2 balises $snippet = $1; }
Code:

1 2 3 while (<TXT_FILE>) { $result .= $_; }
$result correspond à la concaténation de toutes les lignes de ton fichier, c'est pas très bon comme façon de procéder.

Vu que ça ressemble à du html, je pense qu'il doit exister des modules sur le CPAN qui te seraient bien utiles et qui parseraient ton fichier en un clin d'oeil.

Citation:

Envoyé par Jasmine80

^^ c'était un conseil sensé améliorer le code ^^ pas l'inverse

On fait, ce besoin d'utiliser des reg exp me semble obligatoire car j'essaie de faire un code générique ( permettant la recherche sur plusieurs moteurs de recherche, et donc, avec différents tokens pour chacun ).Et pour certains moteurs, les tokens sont tous simplement horrible a isolé (sans reg exp bien sur ).
Citation:
Pourrais-tu me donner 1 exemple du contenu de $result et m'expliquer ce que tu veux récupérer dans
Code:

1 2 3 4 # appelle de la fonction qui traite les chaine simple ($pos, $url) = cutter($tok1,$tok2, 0, $snippet); ($pos, $heading) = cutter($tok3, $tok4, $pos, $snippet); ($pos, $summary) = cutter($tok5, $tok6, $pos, $snippet);
En ce qui concerne un exemple de contenu pour ces tokens ci, il faut enregistrer une page de résultat Google au format html ( un simple enregistrer sous suffira, même si normalement le script fait cela de lui même).

C'est également pour cela que je concatenne le tout, le HTML n'étant en aucun cas respectueux des changemens de lignes (grrr..)

Ensuite, le script fera office de meta moteur de recherche (avec possibilité de rajouter certains moteurs ). Le script est fonctionnelle, si il est lancé avec le bon fichier tu obtiendras un affichage formater comprenant l'url, le titre et le résumé contenu dans les recherches sur Google en l'occurence.
Citation:
Sinon par exemple pour
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 while (1) { my ($snippet, $url, $summary, $heading) = ""; my $tok1 = "<a href=\""; my $tok2 = "\""; my $tok3 = ">"; my $tok4 = "</a>"; my $tok5 = "<font size=-1>"; my $tok6 = "<br>"; my $google_tok = "<li class=g>"; # on releve l'intervalle du prochain snippet de code $beg = index($result, $google_tok, $beg); $end = index($result, $google_tok, $beg + 1); # where $result est par exemple le html d'une recherche google !! # déclaration : bout de code, sa position, et les champs à extraire $snippet = substr($result, $beg, $end - $beg); # test si une occurence du mot clef a bien été trouvé, sinon sort if ($beg == -1 || $end == -1 || $beg == $end) { last; }
Cela semble pouvoir se simplifier par quelque chose comme
Code:

1 2 3 4 5 # tant que le mot clé est trouvé dans $result while ($result =~ m/<li class=g>(.*)<li class=g>/g){ # récupération de ce qui se trouve entre les 2 balises $snippet = $1; }
Ton idée me plais, je vais développer pour voir! :)
Citation:
Code:

1 2 3 while (<TXT_FILE>) { $result .= $_; }
$result correspond à la concaténation de toutes les lignes de ton fichier, c'est pas très bon comme façon de procéder.
Oui, mais comme dis précedement, je ne pense pas que ca altère le HTML.

Citation:

Vu que ça ressemble à du html, je pense qu'il doit exister des modules sur le CPAN qui te seraient bien utiles et qui parseraient ton fichier en un clin d'oeil.

Oui il existe en effet des modules de parsage de html, mais si ma mémoire est bonne, c'est pour parser les formulaires ou en-tête etc. Rien de bien intéréssant pour moi !

J'espère avoir été plus clair!

Regarde encore une fois sur le CPAN ... ça serait mieux de trouver le module adéquat ! HTML-Parser, XML-Twig

Voici quelques expressions régulières ... peut-être peux-tu les regrouper afin d'éviter de parcourir 4 fois ton fichier.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
open my $file , '<', 'search_google.html'
  or die $!;
my $result = do { local $/; <$file> };
close $file;
 
# mise sur une seule ligne de $result
$result =~ s/\n//g;
 
 
# tant que le mot clé est trouvé dans $result
# entre >...<br>
while ( $result =~ m{([^>]+)<br>}g){
	my $summary = $1; print "$summary\n";
}
 
# tant que le mot clé est trouvé dans $result
# entre >...</a>
while ( $result =~ m{([^>]+)</a>}g){
	my $heading = $1;
}
 
# tant que le mot clé est trouvé dans $result
# entre <a href=\"..."
while ( $result =~ m{<a href=\"(.*?)\"}g){
	my $url = $1; 
}
 
# tant que le mot clé est trouvé dans $result
# entre <li class=g>...<li class=g>
while ( $result =~ m/<li class=g>(.*?)<li class=g>/g){
	my $snippet = $1;
}

NB : les positions de début et de fin des motifs trouvés sont sockeés dans les variables $-[1] et $-[+1].

Et bien il a pinnaillé le fofo hier *-)

Pour en revenir au sujet, j'ai pensé à cela ( même si cela demandera surement certaine modifications )
Code:

1 2 3 4 5 6 7 while ($content =~ m/<h3 class=r>(.*)?<h3 class=r>/g ) { while ($1 =~ /$tok_1_beg(.*)$tok_1_end.*$tok_2_beg(.*)$tok_2_end.*$tok_3_beg(.*)$tok_3_end/){ ($tok1,$tok2,$tok3) = ($1,$2,$3); # traitement } }
Et je pense que je me baserais la dessus par la suite. Le problème (l'en fallait bien un ) résidant dans le fait que pour faire la cesure ( le premier while ) je me confronte au problème de la gourmandise des reg exp. J'ai eu beau cherche, je n'arrive pas à trouver le modificateurqui fait en sorte que les l'expression regulière soit non gourmande ( mais pas dans le sens des quantificateur). Exemple :
Code:

1 2 3 4 $phrase = "bonjour je suis grand bonjour pas moi bonjour"; if ($phrase =~ /bonjour(.*)bonjour/g ) { print $1; }
Cela m'affiche

Citation:

je suis grand bonjour pas moi

alors que je souhaiterais avoir

Citation:

je suis grand

J'ai un peu tripoter tous, regarder un peu partout j'ai rien trouvé :o

Et en ce qui concerne les modules, je suis assez rétissant à utiliser certains, en effet la (ou les ^o) couche objet rajouté est un factère qui augmente temps éxecution et mémoire, le tout pour se faciliter la progra du script. (j'utilise des modules surtout pour ce qui concerne les socket et autre)

06/05/2009, 09h34
Jasmine80
Citation:

Envoyé par mensoif

Code:

while ($content =~ m/<h3 class=r>(.*)?<h3 class=r>/g ) {

J'ai eu beau cherche, je n'arrive pas à trouver le modificateur
qui fait en sorte que les l'expression regulière soit non gourmande

^^ voila pourquoi j'utilise un ? après l'astérique dans
Code:

1 2 3 while ( $result =~ m{<a href=\"(.*?)\"}g){ my $url = $1; }
... mais ton point d'interrogation semble s'être échappé de tes parenthèses ;)
06/05/2009, 09h44
mensoif

Oui, en effet, shame on me pour le coup !! 8O

Bon, j'ai eu assez d'info, je vais mettre ce post en résolu ! ( même si la question de base avec index ne l'est pas :p)

Merci beaucoup Jasmine !
06/05/2009, 10h09
Jasmine80

Citation:

Envoyé par mensoif

Bon, j'ai eu assez d'info, je vais mettre ce post en résolu ! ( même si la question de base avec index ne l'est pas :p)

:P On va quand même pas t'aider à écrire un code complètement tordu pour le plaisir alors que c'est si simple avec des EXPREG :lol:
06/05/2009, 10h36
mensoif

Certe, mais vus ton enthousiasme pour les reg exp, je vais en remettre une tite couche.

J'ai un résultat satisfesant (à moitié). En effet, j'ai un affichage correct d'un résultat sur deux. Le problème vient de ce motif :

Code:

m/$token(.*?)$token/g

car dès qu'il a parsé correctement , il va à la suite, ce qui me saute un résultat, et ainsi de suite. J'ai un peu fouillé dans pos et \G mais rien de bon n'en est ressortie. Aurais - tu une p'tite idée pour que la recherche reprenne au deuxième $token présent dans le motif ? =)

Citation:

Envoyé par mensoif

Code:

m/$token(.*?)$token/g

car dès qu'il a parsé correctement , il va à la suite, ce qui me saute un résultat, et ainsi de suite. J'ai un peu fouillé dans pos et \G mais rien de bon n'en est ressortie. Aurais - tu une p'tite idée pour que la recherche reprenne au deuxième $token présent dans le motif ? =)

C'est parce une expression régulière ne recherche pas les motifs se chevauchant, un $token de fin, n'est donc pas repris comme premier $token de début pour l'occurrence suivante. Est-ce clair?
Ca tombe bien pour toi, c'est justement une question que je me suis précédemment posée et à laquelle Jedaï avait répondu. Maintenant, je peux donc essayer de t'expliquer.
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 #!/usr/bin/env perl use strict; use warnings; my $phrase = "token blabla1 token blabla2 token blabla3 token blabla4 token"; my $token = 'token'; while ( $phrase =~ m/$token(.*?)$token/g ) { print "$1\n"; pos($phrase) = $+[1]; }
Donc une fois que 'token blabla1 token' a été trouvé, la position de recherche est placée après celui-ci et on regarde dans 'blabla2 token blabla3 token blabla4 token' ... et on passe donc à côté de 'blabla2'... est-ce plus clair? La solution est donc de mettre pos($phrase) à la position de la fin du motif trouvé (blabla1) ainsi on recommence la recherche dans 'token blabla2 token blabla3 token blabla4 token' et 'blabla2' est bien trouvé.

Note également qu'il existe

Code:

my @item_list = split $token, $phrase;

mais ça récupérera ce qui précède le premier $token et ce qui suit le dernier toi. A de voir le mieux.

06/05/2009, 11h00
mensoif

Tout simplement superbe!! J'rajouterais bien un double résolu pour la peine !! héhé (h)