[Noob] Formation rapide à Perl - Expressions régulières

**Konrad Florczak** · 21/09/2006, 15h26

Bonjour,

Je dois rapidement pondre un script qui ouvre un fichier .csv (récupéré de log4j pour ceux qui connaissent un peu la tete du truc) et qui fait la somme des WARN, INFO, FATAL, ERROR.

On m'a dit que le language Perl était l'outil idéal pour ce genre de choses. Bon je ne connais Perl que de nom mais j'ai deux jours pour le faire.
Pourriez vous me dire si cela est compliqué à faire en Perl.

J'ai lu un peu les docs proposés sur developpez.com et j'aimerais savoir si vous avez des documentations, tutos pour apprendre à utiliser rapidement les expressions régulières. Merci beaucoup pour vos réponses.

Voici la tete de mes fichiers csv :

2006-09-21 09:24:16,WARN ,,Database update took more than threshold of 500 ms: 1044.0652 ms,
2006-09-21 09:24:16,WARN ,, SQL: update pr_sys_statusnodes set pyLastPulseDateTime = ? where pzInsKey = ?,
2006-09-21 09:24:16,WARN ,, inserts: <2006-09-21 10:24:15.0> <SYSTEM-STATUS-NODES WFE!DUBEPAP1!C7DA7926C7053F018C8E6BC3976974C4> ,
2006-09-21 09:40:19,WARN ,,Database update took more than threshold of 500 ms: 1090.5183 ms,
2006-09-21 09:40:19,WARN ,, SQL: update pr_sys_statusnodes set pyLastPulseDateTime = ? where pzInsKey = ?,
2006-09-21 09:40:19,WARN ,, inserts: <2006-09-21 10:40:18.0> <SYSTEM-STATUS-NODES WFE!DUBEPAP1!C7DA7926C7053F018C8E6BC3976974C4> ,
2006-09-21 10:10:33,WARN ,,Database update took more than threshold of 500 ms: 651.2626 ms,
2006-09-21 10:10:33,WARN ,, SQL: update pr_data set PXCREATEDATETIME = ? , PXCREATEOPERATOR = ? , PXCREATEOPNAME = ? , PXCREATESYSTEMID = ? , PXINSNAME = ? , PXOBJCLASS = ? , PXUPDATEDATETIME = ? , PXUPDATEOPERATOR = ? , PXUPDATEOPNAME = ? , PXUPDATESYSTEMID = ? , PYLABEL = ? , pzPVStream = ? where pzInsKey = ?,
2006-09-21 10:10:33,WARN ,, inserts: <2004-09-27 22:57:02.755> <gajnj@pegasystems.com> <Jim Gajnak> <wfe> <PEGA-RULES!DUBEPAP1> <Data-Agent-Queue> <2003-09-02 18:31:33.462> <gajnj@pegasystems.com> <Jim Gajnak> <wfe> <Pega-RULES: Core Engine Processing Agent> <<stream>> <DATA-AGENT-QUEUE PEGA-RULES!DUBEPAP1> ,

**MarneusCalgarXP** · 21/09/2006, 15h36

Tu veux juste afficher le nombre de WARN, le nombre d'ERROR, d'INFO et de FATAL ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
 
use strict;
use warnings;
 
my $file = shift(@ARGV);
if (! ($file)) die ("usage : $0 <fichier csv>\n");
 
my %hashcount = ();
 
open(INPUT, '<', $file) || die("impossible d'ouvrir $file en lecture");
while (<INPUT>)
{
    my @linedata = split(/,/, $_);
    my $warninglevel = $linedata[1];
    $hashcount{$warninglevel}++;
}
close(INPUT);
 
foreach my $warninglevel(keys %hashcount)
{
    my $count = $hashcount{$warninglevel};
    print("Nombre de $warninglevel : $count\n");
}

**Konrad Florczak** · 22/09/2006, 10h55

arf ca a pas l'air de marcher pour moi.

Voici l'algo (j'ai parcouru la formation developpez.com de David Bourgais, par ailleurs excellente). Mais je ne sais pas comment ecrire dans un fichier proprement du texte seul (pas en lien avec un autre fichier)

Ouvrir fichier test.csv (qui est dans le meme repertoire que le fichier perl)
Tant que (=! fin de document)
Si tu rencontres les caracteres WARN
ajoute 1 au compteur i
Si tu rencontres les caractères INFO
ajoute 1 au compteur j
Si tu recontres les caractères ERROR
ajoute 1 au compteur k [etc..]

Ecris dans le fichier report.txt

=========================
LOG 4J SUM UP REPORT
=========================

NUMBER OF WARN : retourne $i
NUMBER OF INFO : retourne $j

[etc...]

apres plus qu'à utiliser bmail avec la commande -m report.txt et le renvoyer à qui de droit

Merci beaucoup

**Konrad Florczak** · 22/09/2006, 10h59

Ca doit donner un truc comme ca (pour l'instant je sais pas ecrire dans un fichier dans je le mets sur la console :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
#!C:\Perl\bin
 
	use strict;
 
open READ, "< test.csv" or die "die";
$i=0;
 
while (<FICHIER>)
{
	if($_ =~ /WARN/)
		{
			$i++;
		}
}
print $i;
close writer;

D'ailleurs il me sort :
Global symbol $i requires explicit package name at test.pl

**Arioch** · 22/09/2006, 12h56

Bonjour,

voici une méthode pour faire ce que tu souhaites en repartant de ton algo romancé :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
use strict;
 
# variables déclarées (par my)
my $FichierEntree = "test.csv";
my $FichierSortie = "report.txt";
my %Compteur = qw(WARN 0 INFO 0 ERROR 0 FATAL 0);
 
# ouverture des deux fichiers
open(IN, $FichierEntree) or die ("cannot open $FichierEntree in input mode : $!\n");
open(OUT, ">$FichierSortie") or die ("cannot open $FichierSortie in output mode : $!\n");
 
# analyse de chaque ligne du fichier d'entrée avec comptage des mots recherchés
while(<IN>)
{
    ++$Compteur{$1} if (/(WARN|INFO|ERROR)/);
}
close(IN);
 
# écriture du résultat en sortie
print OUT "=========================\n";
print OUT "LOG 4J SUM UP REPORT\n";
print OUT "=========================\n\n";
foreach(sort(keys %Compteur))
{
    print OUT "NUMBER OF $_ : $Compteur{$_}\n";
}
close(OUT);

Mon script compile chez moi, dis-nous ce que ça donne de ton côté

**Arioch** · 22/09/2006, 12h58

Envoyé par Konrad Florczak

D'ailleurs il me sort :
Global symbol $i requires explicit package name at test.pl

C'est normal car tu utilises dans ton script la pragma "strict" qui impose ensuite que l'on déclare toute variable de ton script par un my (je fais au plus simple ici mais il existe d'autres formes de déclarations comme our)

Ton $i, lorsque l'interpreteur de Perl le tope pour la première fois, constate qu'il n'a pas été déclaré par un my et considère ici qu'il y a un vice de forme

**Arioch** · 22/09/2006, 12h59

Attention !! Dans le code que je t'ai donné, ça repose sur le principe qu'une des chaînes de caractères que tu recherches dans une ligne n'est présente qu'une seule et unique fois PAR ligne.

Si une ligne contenait ERROR... ERROR, ça ne fonctionne pas (partiellement du moins) et idem si une ligne contenait WARN......ERROR......

**Konrad Florczak** · 22/09/2006, 13h08

merci pour le code par contre il me fait un die sur le fichier report.txt
il ne le crée pas le fichier (alors qu'il doit etre crée)

ensuite il n'ecrit pas dans le fichier

foreach(sort(keys %Compteur))
{
print OUT "NUMBER OF $_ : $Compteur{$_}\n";
}
close(OUT);

ne marche pas

par contre

foreach(sort(keys %Compteur))
{
print "NUMBER OF $_ : $Compteur{$_}\n";
}
close(OUT);

maffiche bien le truc sur la console.
C'est franchement hyper puissant perl sinon, faut vraiment que je m'y mette. Merci pour le code je vois comment marche la structure du doc.

Sinon j'ai fait ca aussi (c'est lourd) mais ca marche :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
 
 
#!C:\Perl\bin
@months = qw(Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec);
@weekDays = qw(Sun Mon Tue Wed Thu Fri Sat Sun);
($second, $minute, $hour, $dayOfMonth, $month, $yearOffset, $dayOfWeek, $dayOfYear, $daylightSavings) = gmtime();
$year = 1900 + $yearOffset;
$theGMTime = "$hour:$minute:$second, $weekDays[$dayOfWeek] $months[$month] $dayOfMonth, $year";
 
 
 
open READER, "< test.csv" or die "No such file : test.csv";
open WRITER, ">report.txt" || die "Cannot create report.txt";
$info=0;
$warn=0;
$error=0;
$fatal=0;
 
while (<READER>)
{
	if($_ =~ /INFO/)
		{
			$info++;
		}
	if($_ =~ /WARN/)
		{
			$warn++;
		}
	if($_ =~ /ERROR/)
		{
			$error++;
		}
	if($_ =~ /FATAL/)
		{
			$fatal++;
		}
}
 
close READER;
 
print WRITER "=====================================\n";
print WRITER "DAILY REPORT PROCESSED $theGMTime\n";
print WRITER "INFO  : $info  \n";
print WRITER "WARN  : $warn  \n";
print WRITER "ERROR : $error \n";
print WRITER "FATAL : $fatal \n";
print WRITER "=====================================\n";
close WRITER;

**Arioch** · 22/09/2006, 13h10

Désolé pour le fichier qui ne se crée pas, j'avais fait un copy/paste trop rapide de la ligne d'avant et j'oubliais d'ouvrir le fichier en mode création

J'ai mis mon script à jour (voir + haut) en rajoutant FATAL dans la liste des termes à rechercher, ça doit mieux marcher maintenant

**Konrad Florczak** · 22/09/2006, 13h13

C'est nickel merci beaucoup

j'ai plus qu'à rajouter le truc de la date (dans mon script plus haut) et j'aurais ce que je voudrais.

Vais voir si perl prend des arguments en ligne de commandes aussi que je pourrais récupérer dans le code. Mais bon je vais pas t'embeter, t'es pas la pour m'apprendre Perl.

Je reviendrais si j'ai des questions. Allez zoup ou j'ai mis ma doc Perl moi...

Merci encore

**Arioch** · 22/09/2006, 13h16

Envoyé par Konrad Florczak

Vais voir si perl prend des arguments en ligne de commandes aussi que je pourrais récupérer dans le code. Mais bon je vais pas t'embeter, t'es pas la pour m'apprendre Perl.

Oui, Perl accepte les lignes de commande. Tiens, un rapide exemple, en admettant que les 2 fichiers dont ton script a besoin lui sont donnés en ligne de commande :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
 
# la ligne de commande
perl MonScript.pl test.csv report.txt
 
# le début du script avec récup des paramètres transmis
use strict;
 
# variables déclarées (par my)
my $FichierEntree = $_[0];
my $FichierSortie = $_[1];
my %Compteur = qw(WARN 0 INFO 0 ERROR 0 FATAL 0);
 
... ... ...

**Konrad Florczak** · 22/09/2006, 13h21

vraiment génialissime
je crois que je vais laisser tomber batch et me mettre à Perl

Merci encore

**MarneusCalgarXP** · 22/09/2006, 13h26

Envoyé par Konrad Florczak

arf ca a pas l'air de marcher pour moi.

Oups, effectivement je me suis planté sur la condition du paramètre, il fallait mettre

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
die ("usage : $0 <fichier csv>\n"), if (! ($file));

et non

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
if (! ($file)) die ("usage : $0 <fichier csv>\n");

**Konrad Florczak** · 22/09/2006, 13h30

Oups, effectivement je me suis planté sur la condition du paramètre, il fallait mettre

Code:

die ("usage : $0 <fichier csv>\n"), if (! ($file));

et non

Code:

if (! ($file)) die ("usage : $0 <fichier csv>\n");

Oh c'est pas grave

C'est pas moi qui va te reprendre sur la qualité de ton code Perl

Bon si vous avez des questions concernant LaTeX, je me ferais un plaisir de vous repondre sur le forum !

A très bientot

**Konrad Florczak** · 25/09/2006, 14h11

Envoyé par Arioch

Oui, Perl accepte les lignes de commande. Tiens, un rapide exemple, en admettant que les 2 fichiers dont ton script a besoin lui sont donnés en ligne de commande :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
 
# la ligne de commande
perl MonScript.pl test.csv report.txt
 
# le début du script avec récup des paramètres transmis
use strict;
 
# variables déclarées (par my)
my $FichierEntree = $_[0];
my $FichierSortie = $_[1];
my %Compteur = qw(WARN 0 INFO 0 ERROR 0 FATAL 0);
 
... ... ...

C bizarre ca a pas l'air de marcher chez moi :

C:\>perl test.pl test.csv report.txt
cannot open in input mode : No such file or directory

**Arioch** · 25/09/2006, 14h18

1000 excuses, je me mélange toujours les pinceaux avec certains noms de variables Perl

Remplace dans mon script les variables déclarées $FichierEntree et $FichierSortie par ce qui suit :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
my $FichierEntree = $ARGV[0];   # et non $_[0]
my $FichierSortie = $ARGV[1];   # et non $_[0]

Désolé

**Konrad Florczak** · 25/09/2006, 14h48

Pas de soucis, effectivement ca marche mieux maintenant

[Noob] Formation rapide à Perl - Expressions régulières

Langage Perl

Discussions similaires

Partager

Partager