[DEBUTANT] parser perl

Version imprimable

Voir 40 message(s) de cette discussion en une page

10/12/2010, 10h01
jazzexperience

[DEBUTANT] parser perl

Bonjour,

actuellement j'utilise le soft logparser à travers un cmd de cette façon :

logparser.exe -i:TEXTLINE -o:TSV -stats:OFF "select EXTRACT_FILENAME(LogFileName) as FichierLog, text as resultat from '\\SERVER1\LOGS\logic.log','\\SERVER2\LOGS\logic.log' where text like '%%_ERREUR%%'" >%LOG_ERREUR%

le résultat est traité par cut pour récupérer les arguments souhaités

type %LOGDIR%\LogParser.log | cut -d " " -f 1,2,3,4,10,11,12,13,14 >>%LOG%

**********

Malheureusement cela ne permet pas de tester la date du fichier, fichier log a traiter si ce dernier est du jour (comparaison avec la machine où je lance le script.
La possibilité d'envoyer un mail et/ou remplir une base sql serait un plus
Je souhaiterais trouver l'équivalence en perl . merci de vos retours
10/12/2010, 10h33
djibril

si ton but est de faire un programme Perl permettant de faire ce que fait logparser.exe, il faudra détailler tes besoins, et avec un peu d'huile de coude, t'y mettre pour nous proposer un code et là on t'aidera :lol:
10/12/2010, 13h58
jazzexperience

pas obligatoirement, en fait si le script perl permet l'appel de ce soft ... c'est juste bon
10/12/2010, 14h09
djibril

Tu veux quoi alors ? Faire un programme Perl qui lance cette commande ?
Si oui, si le seul but du programme est de lancer ce programme, dans ce cas, autant faire un programme .bat et y coller ta ligne de commande.
10/12/2010, 14h21
jazzexperience

oui mais logparser ne permet pas de prendre en compte la date du fichier, la condition est la suivante : si ce dernier n'est pas à la date du jour (comparaison avec la date machine où je lance le script) ne pas lancer le "parse".

voilà
10/12/2010, 14h24
djibril

Sincèrement, je ne comprends ce que tu veux faire, tu n'es pas clair.
En perl, si tu veux lancer une commande système, c'est la fonction system.
10/12/2010, 14h34
jazzexperience

donc récapitulons,

1/ j'ai des fichiers log à parser (ces derniers sont présents sur plusieurs serveurs :
\\SERVER1\LOGS\logic.log
\\SERVER2\LOGS\erreur.log ...

2/ je souhaites mettre une condition au lancement "parse" (via un script perl) : si fichier n'est pas du jour du traitement (vérification de la date du fichier (logic.log)avec la date system)

3/ si fichier du jour, lancement du programme "logparser" (via le même script perl) avec paramètres et écriture vers un fichier de sortie pour l'envoi d'un mail et/ou enrichissement d'une base sql

voilà
10/12/2010, 14h53
djibril

Ok, c'est parfaitement faisable en perl alors sans soucis.
10/12/2010, 15h42
jazzexperience

alors une piste ? la commande logparser avec tous les paramètres m'indiquent pleins de warning au lancement du .pl :(

#!/usr/bin/perl -w
my $commandes =
logparser.exe -i:TEXTLINE -o:TSV -stats:OFF "select EXTRACT_FILENAME(LogFileName) as FichierLog, text as resultat from '\\SERVER1\LOGS\logic.log','\\SERVER2\LOGS\logic.log' where text like '%%_ERREUR%%'"

# fin des préparatifs, exécution des commandes
exec $commandes;

Tout programme perl doit commencer par
Code:

1 2 3 #!/usr/bin/perl use warnings; use strict;
Ensuite lit la FAQ pour avoir au moins les bases.

essaye ça
Code:

1 2 3 4 5 6 7 8 9 10 11 12 #!/usr/bin/perl use warnings; use strict; my $commandes = 'logparser.exe -i:TEXTLINE -o:TSV -stats:OFF ' . ' "' . ' select EXTRACT_FILENAME(LogFileName) as FichierLog, text as resultat from' . ' "SERVER1/LOGS/logic.log","//SERVER2/LOGS/logic.log" where text like "%%_ERREUR%%" ' . ' "' ; print "[COMMANDE] $commandes\n";
Et faut arrêter avec les phrases pleins de warning. Si vous ne nous les montrez pas, on ne pourra pas vous aider.

12/12/2010, 14h49
jazzexperience

le print fonctionne bien,
reste que l'execution du programme ("exec $commandes;" ou "system commandes;") m'indique l'erreur suivante Error: Syntax Error: <term2>: no valid LIKE mask

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
#!/usr/bin/perl
use warnings;
use strict;
 
my $commandes = 'logparser.exe -i:TEXTLINE -o:TSV -stats:OFF '
  . ' "'
  . ' select EXTRACT_FILENAME(LogFileName) as FichierLog, text as resultat from'
  . ' "SERVER1/LOGS/logic.log","//SERVER2/LOGS/logic.log" where text like "%%_ERREUR%%" '
  . ' "'
  ;
 
print "[COMMANDE] $commandes\n";
 
system($commandes);

13/12/2010, 08h02
jazzexperience

Bonjour, malheureusement cela ne fonctionne pas pour l'excution du programme :calim2:

Error: Syntax Error: <term2>: no valid LIKE mask
13/12/2010, 08h29
djibril

Le problème vient de ta commande. Essaye de faire fonctionner ta commande en manuel sous la console DOS et copie la nous si elle fonctionne.
13/12/2010, 10h06
jazzexperience

Voici la commande
***

C:\>logparser.exe -i:TEXTLINE -o:TSV -stats:OFF "select EXTRACT_FILENAME(LogFileName) as FichierLog, text as resultat from '\\SERVER1\LOGS\logic.log','\\SERVER1\LOGS\logic2.log' where text like '%%_ERREUR%%'"

voici le résultat
***
FichierLog resultat
logic.log <Dec 13, 2010 4:51:12 AM CET> <Notice> <Server _ERREUR>
logic2.log <Dec 13, 2010 4:52:08 AM CET> <Notice> <Server _ERREUR>

ET si on passe par un query ? (syntaxe à revoir car j'ai une erreur Error: query has not been specified) ? qu'en pensez-vous ?

$LPQuery="\\\SERVER1\\LOGS\\logic.log";

system("logparser.exe -i:TEXTLINE -o:TSV -stats:OFF:$LPQuery?text='_ERREUR' ");

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
#!/usr/bin/perl
use warnings;
use strict;
 
my $commandes = 'logparser.exe -i:TEXTLINE -o:TSV -stats:OFF'
  . ' "'
  . ' select EXTRACT_FILENAME(LogFileName) as FichierLog, text as resultat from'
  . " '\\\\SERVER1\\LOGS\\logic.log',"
  . " '\\\\SERVER1\\LOGS\\logic2.log'"
  . " where text like '\%\%_ERREUR\%\%'"
  . ' "'
  ;
 
print "[COMMANDE] $commandes\n";
 
system($commandes);

13/12/2010, 12h06
jazzexperience

parfait ! :zoubi: MERCI

reste 2 points :

2/ mettre une condition au lancement de la commande de "parse" (contenu à l'interieur du script perl) : si fichier n'est pas du jour du traitement (vérification de la date du fichier (logic.log) avec la date du system)

3/ envoyer le resultat du jour (via le même script perl) par mail et/ou enrichissement d'une base sql

je vais regardé si je peux le faire par moi même ... mais si vous avez une solution toute prête

A+
13/12/2010, 12h17
djibril

Voici quelques pistes :
- Pour trouver la date de modification du fichier, voir fonction stat.
- Gestion des dates : voir nos sources.
- Pour l'envoie de Mail, voir module MIME::Lite

me revoilà avec un code un peu avancé mais c'est pas génial :?

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
my $file = "\\\\SERVER1\\LOGS\\logic.log";
my $Ligne = undef;
my @Liste = undef;
 
# test si fichier est du jour (si oui traitement de parse)
if (-M $file < 1) { 
my $commandes = 'logparser.exe -i:TEXTLINE -o:TSV -stats:OFF'
  . ' "'
  . ' select EXTRACT_FILENAME(LogFileName) as FichierLog, text as resultat from'
  . " '\\\\SERVER1\\LOGS\\logic.log',"
  . " '\\\\SERVER1\\LOGS\\logic2.log'"
  . " where text like '\%\%_ERREUR\%\%'"
  . ' ">toto.txt' #redirection vers un fichier (l'idéal serait d'intégrer le split sans rediriger vers un fichier
  ; 
system($commandes );
 
#ouverture du fichier pour récupérer le 6ème et 7ème élément de chaque ligne - séparateur espace. ça fonctionne pas !!
 
open FIC, "<toto.txt"; 
 
	while ($Ligne = <FIC> )
	{ @Liste=split (' ',$Ligne,[6,7])  ;
 
	print "@Liste\n" ;
	}
 
close FIC;
 
}

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
#!/usr/bin/perl
use warnings;
use strict;
 
my $file = "\\\\SERVER1\\LOGS\\logic.log";
my $date_today   = date()->{date}; 
my $date_fichier = date( (stat($file) )[9] )->{date}; 
 
# test si fichier est du jour (si oui traitement de parse)
if ( $date_fichier eq $date_today ) { 
  my $commandes = 'logparser.exe -i:TEXTLINE -o:TSV -stats:OFF'
    . ' "'
    . ' select EXTRACT_FILENAME(LogFileName) as FichierLog, text as resultat from'
    . " '\\\\SERVER1\\LOGS\\logic.log',"
    . " '\\\\SERVER1\\LOGS\\logic2.log'"
    . " where text like '\%\%_ERREUR\%\%'"
    . ' ">toto.txt' #redirection vers un fichier (l'idéal serait d'intégrer le split sans rediriger vers un fichier
    ; 
 
  #ouverture du fichier pour récupérer le 6ème et 7ème élément de chaque ligne - séparateur espace. ça fonctionne pas !!
 
  foreach my $Ligne ( `$commandes` ) {
  	my @Liste = split(/\t/, $Ligne);
    print "$Ligne\n" ;
  }
}
 
 
 
sub date {
  my $time = shift || time;    #$time par defaut vaut le time actuel
  my ( $seconde, $minute, $heure, $jour, $mois, $annee, $jour_semaine, $jour_annee, $heure_hiver_ou_ete )
    = localtime($time);
  $mois  += 1;
  $annee += 1900;
 
  # On rajoute 0 si le chiffre est compris entre 1 et 9
  foreach ( $seconde, $minute, $heure, $jour, $mois, $annee ) {
    s/^(\d)$/0$1/;
  }
 
  my %date = (
    "date"         => "$jour-$mois-$annee",
    "heure"        => "$heure:$minute:$seconde",
    "jour_semaine" => $jour_semaine,
    "jour_annee"   => $jour_annee,
    "hiverOuEte"   => $heure_hiver_ou_ete,
  );
  return \%date;
}

Voir 40 message(s) de cette discussion en une page