regex perl difficile

Version imprimable

24/09/2009, 14h52
Eric5959

regex perl difficile
bonjour,
je cherche à faire une regex pour un script perl.
je dois recherche dans des fichiers texte le motif suivant:
http://www.google.fr
ou
http://www.mail.google.fr

les lignes du fichier ressemble à cela:
192.1.1.1 - - [04/Jul/2009:23:14:00 +0200] "GET http://customercard.decathlon.fr/net...p/tab_left.gif HTTP/1.1" 0 788" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"

je dois rechercher tout ce qui est entre http et le premier /

comment faire la regex svp ?

j'ai fait quelques tests et suit arrivé au résultat suivant mais ça ne fonctionne pas.
Code:

1 2 if ($ligne =~ m/.*GET (http:\/\/[.*].).*)/;
merci de votre mais c'est assez urgent.
cdlt
24/09/2009, 15h05
djibril

Entre ce que tu dis et ton exemple, ce n'est pas clair ;). Ton est de récupérer toutes les urls de ton fichier ?

Je suis pas sûr de répondre à la question, mais la regex ne semble pas si ardue :

Code:

1
2
3
4
5
#!/usr/bin/perl
 
my $str = '192.1.1.1 - - [04/Jul/2009:23:14:00 +0200] "GET http://customercard.decathlon.fr/netcard/include/images/signup/tab_left.gif HTTP/1.1" 0 788" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"';
 
print $1 if ($str =~ m#^.*GET (http://[^/\s]+)#);

24/09/2009, 15h45
Eric5959

suite regex difficlile

bonjour,
oui je dois récupérer toutes les url, google était un exemple
et j'ai mis une ligne complète pour bien montrer le format de la ligne complète.
merci
cdlt
24/09/2009, 15h55
Eric5959

premier test

bonjour,
ça ne marche pas j'ai toujours un message
j'avais déjà ce message avant parce que ça ne match pas

Unmatched ( in regex; marked by <-- HERE in m/^.*GET ( <-- HERE http:/ at D:\test\fichier.pl

merci
24/09/2009, 15h57
djibril
Il existe déjà des modules propres te proposant des regex efficaces.
Installe le module Regexp::Common

Pour l'utiliser dans ton script, tu fais ceci :
Code:

1 2 3 4 5 use Regexp::Common qw /URI/; my $regex_url = $RE{URI}{HTTP}; my @urls = $str =~ m{($regex_url)}g; print "Mes urls : @urls\n";
24/09/2009, 16h12
Eric5959

regexp common

bonjour,
en revanche je ne sais pas comment installer regexp::common
j'ai téléchargé un tar.gz mais où j'installe ça ?
désolé mais je débute !
cdlt
24/09/2009, 16h14
djibril

http://perl.developpez.com/faq/perl/?page=sectionC32
25/09/2009, 11h58
Jasmine80
Citation:

Envoyé par Eric5959

je dois rechercher tout ce qui est entre http et le premier /

Si toutes les adresses commencent bien par http:// et se terminent par /, pourquoi ne pas simplement utiliser :
Code:

1 2 3 if ($line =~m{(http://.*?)/}){ # récupération de $1 }
Quel est le danger de ne pas utiliser le module Regexp::Common ?
25/09/2009, 12h15
djibril

Citation:

Envoyé par Jasmine80

Quel est le danger de ne pas utiliser le module Regexp::Common ?

Ce n'est pas un danger de ne pas utiliser ce module. C'est juste qu'il contient énormément de regex bien écrites, optimisées et tester par de nombreux programmeurs compétents. Donc je trouve dommage de devoir réinventer la roue quand tout est déjà disponible.
26/09/2009, 08h30
Invité

Citation:

Envoyé par Jasmine80

Quel est le danger de ne pas utiliser le module Regexp::Common ?

Réinventer la roue :mouarf:
26/09/2009, 17h52
50Nio

En plus, réinventer la roue est une perte de temps,
et au moins, un module, tout le monde sait comment il fonctionne (ou au moins tout le monde peut retrouver facilement), il est mis à jour si une faille est trouvée,
donc pour la maintenance c'est aussi beaucoup plus simple.

suite regex difficlile

bonjour,
merci Jasmine80 ça fonctionne !
je pense que je me compliquait la tâche !

j'ai en revanche un autre souci, j'ai mis ci-dessous un morceau du code à partir getFiles. mon souci c'est que j'ai pas le résultat attendu, je veux une url et le nombre de fois trouvé. hors dans mon fichier résultat chaque fois qu'une url est trouvée elle est écrite dans le fichier en incrémentent le compteur (j'espère être clair, mais c'est pas évident à expliquer !)

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
 
getFiles($rep,\@fichiers);
 
open F_ECRIRE,">$rep/$res"  or die "E/S : $!\n";
 
foreach $fic(@fichiers){
  open F_LIRE,"$fic" or warn "E/S : $!\n";
   my $ligne;   
   my $foundKey = "";
 
   while($ligne = <F_LIRE>){     
 
              my $url = "";
              if ($ligne =~ m{(http://.*?)/}){
                  my $Resulturl = $1;
                  print $Resulturl."\n";
                  #print $1."\n";
 
              my $tempValue = $hashResults{$Resulturl};
              #print $hashResults."\n";
              $tempValue += 1;
              #print $tempValue."\n";
              $hashResults{$Resulturl} = $tempValue;
              #print $tempValue."\n";
            print F_ECRIRE "$_ $hashResults{$_}\n" foreach (sort keys %hashResults);
 
      }
   }
}

merci de votre aide

30/09/2009, 09h38
Jasmine80

Incrémente directement la valeur de ton hash au lieu d'utiliser la variable $tempValue

Code:

$hashResults{$Resulturl} ++;

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
my %hashResults;
 
open my $F_ECRIRE, '>', $rep.'/'.$res  or die "E/S : $!\n";
 
foreach my $fic (@fichiers){
 
	open my $F_LIRE, '<', $fic or warn "E/S : $!\n";
	my $ligne;   
	my $foundKey = "";
 
	while (my $ligne = <$F_LIRE>){     
		my $url = "";
		if ($ligne =~ m{(http://.*?)/}){
			my $Resulturl = $1;
			print "$1\n";
			$hashResults{$1} ++;
		}
	}
	close $F_LIRE;
}
 
print $F_ECRIRE "$_ $hashResults{$_}\n" foreach (sort keys %hashResults);
close $F_ECRIRE;

Quelques conseils
utilise les pragmas strict et warnings
Déclare tes variables (my)
ouvre tes fichiers dans une variable scalaire et utilise 3 arguments
ferme tes filehandles

30/09/2009, 10h11
Eric5959

suite regex difficlile et fin

bonjour,
merci de ton aide et de tes conseils.
c'est encore un peu confus perl pour moi , de plus j'en fais pas souvent ce qui rend difficile la pratique.
merci, merci
30/09/2009, 10h14
Jasmine80

N'hésite pas à poser des questions, ce forum est là pour ça. Tu peux également consulter la FAQ perl.