[DEBUTANT] parser perl

Version imprimable

Voir 40 message(s) de cette discussion en une page

15/12/2010, 08h32
jazzexperience
merci pour le code mais cela ne permet pas de récupérer le 6ème et le 7ème élément de chaque ligne (séparateur espace) pour le retranscrire dans le même fichier de sortie.

suite au parse, voici un exemple de ligne à splitter :

<Dec 14, 2010 4:51:15 AM> <Notice> <LogicServer> <Server started> <_ERROR>
Code:

1 2 3 4 5 foreach my $Ligne ( `$commandes` ) { my @Liste = split(/\t/, $Ligne); print "$Ligne\n" ; }
15/12/2010, 08h51
djibril

Dans cette ligne

Citation:

<Dec 14, 2010 4:51:15 AM> <Notice> <LogicServer> <Server started> <_ERROR>

à quoi correspond la 6eme et 7eme colonne ?
15/12/2010, 09h07
jazzexperience

dans cet exemple, ce serait (en comptant les espaces comme séparateurs)

6ème => "<Notice>"
7ème => "<LogicServer>"

le fichier de sortie (appelé ici toto.txt) devrait donc contenir la ligne :

<Notice> <LogicServer>

ceci correspondrait à une commande cut

Code:

type toto.txt | cut -d " " -f 6,7

Code:

1
2
3
4
  foreach my $Ligne ( `$commandes` ) {
  	my @motif = $Ligne =~ m/(<.+?>)/g;
        print "$motif[1] et $motif[2]\n";
  }

15/12/2010, 10h16
jazzexperience

lors du lancement du programme :

Use of uninitialized value $motif[1] in concatenation (.) or string at test.pl line 42.
Use of uninitialized value in concatenation (.) or string at test.pl line 42.
et

peux-tu me décrire ta fonction ?

ps : ce qui encadre $commandes, c'est un ` ou un ' ?
15/12/2010, 10h23
jazzexperience
ce qui encadre $commandes, c'est un bien `
Code:

1 2 3 foreach my $Ligne ( `$commandes`) { #sous notepad++ `$commandes` passe en jaune ?? my @motif = $Ligne =~ m/(<.+?>)/g; print "$motif[1] et $motif[2]\n";
le traitement passe désormais sans erreur, reste que le contenu du fichier toto.txt reste identique

<Dec 14, 2010 4:51:15 AM> <Notice> <LogicServer> <Server started> <_ERROR>

au lieu du résultat souhaité

<Notice> <LogicServer>

Peux tu tester ce programme. Le concept est le suivant :
Le programme lance ta commande système dans un fichier temporaire crée par perl. Ce dernier est parsé et supprimé en fin de programme.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
#!/usr/bin/perl
use warnings;
use strict;
use File::Temp qw/ tempfile /;
 
my $file         = "\\\\SERVER1\\LOGS\\logic.log";
my $date_today   = date()->{date};
my $date_fichier = date( ( stat($file) )[9] )->{date};
 
# creation d'un fichier temporaire qui sera supprimé à la fin du programme
my ( $fh, $fichier_temporaire ) = tempfile( UNLINK => 1 );
close($fh);
 
# test si fichier est du jour (si oui traitement de parse)
if ( $date_fichier eq $date_today ) {
  my $commandes
    = 'logparser.exe -i:TEXTLINE -o:TSV -stats:OFF' . ' "'
    . ' select EXTRACT_FILENAME(LogFileName) as FichierLog, text as resultat from'
    . " '\\\\SERVER1\\LOGS\\logic.log',"
    . " '\\\\SERVER1\\LOGS\\logic2.log'"
    . " where text like '\%\%_ERREUR\%\%'" . ' " '
    . " > \"$fichier_temporaire\" ";
 
  # Ouverture du fichier temporaire
  open my $fh_data, '>', $fichier_temporaire or die("Impossible de lire $fichier_temporaire\n");
  while ( my $Ligne = <$fh_data> ) {
 
    # Si la ligne match notre regex
    if ( my @motif = $Ligne =~ m/(<.+?>)/g ) {
      print "$motif[1] et $motif[2]\n";
    }
  }
  close($fh_data);
}
 
sub date {
  my $time = shift || time;    #$time par defaut vaut le time actuel
  my ( $seconde, $minute, $heure, $jour, $mois, $annee, $jour_semaine, $jour_annee, $heure_hiver_ou_ete )
    = localtime($time);
  $mois  += 1;
  $annee += 1900;
 
  # On rajoute 0 si le chiffre est compris entre 1 et 9
  foreach ( $seconde, $minute, $heure, $jour, $mois, $annee ) {
    s/^(\d)$/0$1/;
  }
 
  my %date = (
    "date"         => "$jour-$mois-$annee",
    "heure"        => "$heure:$minute:$seconde",
    "jour_semaine" => $jour_semaine,
    "jour_annee"   => $jour_annee,
    "hiverOuEte"   => $heure_hiver_ou_ete,
  );
  return \%date;
}

15/12/2010, 11h44
jazzexperience
en l'état; le lancement indique une erreur

Filehandle $fh_data opened only for output at test.pl line 39.

si je modifie cette ligne
Code:

1 2 3 # Ouverture du fichier temporaire open my $fh_data, '>', $fichier_temporaire or die("Impossible de lire $fichier_temporaire\n"); while ( my $Ligne = <$fh_data> ) {
par

open my $fh_data, '>>', $fichier_temporaire #création et ecriture

ou par

open my $fh_data, '<', $fichier_temporaire #lecture

le code passe MAIS pas de résultat à l'affichage ou dans un fichier :calim2:

Ressaye ceci :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
#!/usr/bin/perl
use warnings;
use strict;
use File::Temp qw/ tempfile /;
 
my $file         = "\\\\SERVER1\\LOGS\\logic.log";
my $date_today   = date()->{date};
my $date_fichier = date( ( stat($file) )[9] )->{date};
 
# creation d'un fichier temporaire qui sera supprimé à la fin du programme
my ( $fh, $fichier_temporaire ) = tempfile( UNLINK => 1 );
close($fh);
 
# test si fichier est du jour (si oui traitement de parse)
if ( $date_fichier eq $date_today ) {
  my $commandes
    = 'logparser.exe -i:TEXTLINE -o:TSV -stats:OFF' . ' "'
    . ' select EXTRACT_FILENAME(LogFileName) as FichierLog, text as resultat from'
    . " '\\\\SERVER1\\LOGS\\logic.log',"
    . " '\\\\SERVER1\\LOGS\\logic2.log'"
    . " where text like '\%\%_ERREUR\%\%'" . ' " '
    . " > \"$fichier_temporaire\" ";
 
  # Ouverture du fichier temporaire
  open my $fh_data, '<', $fichier_temporaire or die("Impossible de lire $fichier_temporaire\n");
  while ( my $Ligne = <$fh_data> ) {
    chomp($Ligne); 
    # Si la ligne match notre regex
    if ( my @motif = $Ligne =~ m/(<.+?>)/g ) {
      print "$motif[1] et $motif[2]\n";
    }
    else {
      print "[NON PARSE] $Ligne\n";
    }
  }
  close($fh_data);
}
 
sub date {
  my $time = shift || time;    #$time par defaut vaut le time actuel
  my ( $seconde, $minute, $heure, $jour, $mois, $annee, $jour_semaine, $jour_annee, $heure_hiver_ou_ete )
    = localtime($time);
  $mois  += 1;
  $annee += 1900;
 
  # On rajoute 0 si le chiffre est compris entre 1 et 9
  foreach ( $seconde, $minute, $heure, $jour, $mois, $annee ) {
    s/^(\d)$/0$1/;
  }
 
  my %date = (
    "date"         => "$jour-$mois-$annee",
    "heure"        => "$heure:$minute:$seconde",
    "jour_semaine" => $jour_semaine,
    "jour_annee"   => $jour_annee,
    "hiverOuEte"   => $heure_hiver_ou_ete,
  );
  return \%date;
}

15/12/2010, 12h09
jazzexperience

Traitement code sans erreur MAIS pas de résultat à l'affichage ou dans un fichier ?
15/12/2010, 12h18
djibril

Qu'est ce qui s'affiche dans ta console ? Si tu as repris mon code ci-dessus, tu devrais avoir un affichage quelqu'il soit.

Celui ci devrait être bon

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
#!/usr/bin/perl
use warnings;
use strict;
use File::Temp qw/ tempfile /;
 
my $file         = "\\\\SERVER1\\LOGS\\logic.log";
my $date_today   = date()->{date};
my $date_fichier = date( ( stat($file) )[9] )->{date};
print "Traitement fichier log\n- $file\n";
print "Le ficher date du $date_fichier\n";
 
# creation d'un fichier temporaire qui sera supprimé à la fin du programme
my ( $fh, $fichier_temporaire ) = tempfile( UNLINK => 1 );
close($fh);
 
# test si fichier est du jour (si oui traitement de parse)
if ( $date_fichier eq $date_today ) {
  print "Traitement en cours, veuillez patienter ...\n";
  my $commandes
    = 'logparser.exe -i:TEXTLINE -o:TSV -stats:OFF' . ' "'
    . ' select EXTRACT_FILENAME(LogFileName) as FichierLog, text as resultat from'
    . " '\\\\SERVER1\\LOGS\\logic.log',"
    . " '\\\\SERVER1\\LOGS\\logic2.log'"
    . " where text like '\%\%_ERREUR\%\%'" . ' " '
    . " > \"$fichier_temporaire\" ";
 
  print "Commande lancee : \n[$commandes]\n\n";
  system($commandes);
 
  # Ouverture du fichier temporaire
  open my $fh_data, '<', $fichier_temporaire or die("Impossible de lire $fichier_temporaire\n");
  while ( my $Ligne = <$fh_data> ) {
    chomp($Ligne); 
    # Si la ligne match notre regex
    if ( my @motif = $Ligne =~ m/(<.+?>)/g ) {
      print "$motif[1] et $motif[2]\n";
    }
    else {
      print "[NON PARSE] $Ligne\n";
    }
  }
  close($fh_data);
 
  print "Fin traitement !!!\n";
 
}
else {
    print "Traitement non deroule car le fichier ne date pas d'aujourd'hui\n";
}
 
sub date {
  my $time = shift || time;    #$time par defaut vaut le time actuel
  my ( $seconde, $minute, $heure, $jour, $mois, $annee, $jour_semaine, $jour_annee, $heure_hiver_ou_ete )
    = localtime($time);
  $mois  += 1;
  $annee += 1900;
 
  # On rajoute 0 si le chiffre est compris entre 1 et 9
  foreach ( $seconde, $minute, $heure, $jour, $mois, $annee ) {
    s/^(\d)$/0$1/;
  }
 
  my %date = (
    "date"         => "$jour-$mois-$annee",
    "heure"        => "$heure:$minute:$seconde",
    "jour_semaine" => $jour_semaine,
    "jour_annee"   => $jour_annee,
    "hiverOuEte"   => $heure_hiver_ou_ete,
  );
  return \%date;
}

15/12/2010, 14h35
jazzexperience

pour ta réponse intermédiaire j'ai fait un print au niveau de la date et du fichier temporaire + un sleep de 30s avant la fin du programme pour voir les différentes valeurs et le contenu du fichier temp (fichier actuellement vide)

C:\>perl test.pl
15-12-2010
C:\DOCUME~1\user\LOCALS~1\Temp\Up1wq6F0aZ
GLOB(0x187b70c)

=> je fais le test avec ton dernier test (merci encore pour ton aide !) :ccool:
15/12/2010, 15h02
jazzexperience

avec le dernier code (avec les print bien placés !), ça fonctionne à merveille au niveau de l'affichage !!! :mrgreen: reste plus que la redirection vers un fichier, le remplissage d'une bdd sql et l'envoi d'un mail du contenu de ce fichier log.

un GRAND merci pour le travail déjà fait ! :roll:

J'ai trouver la méthode pour écriture dans un fichier en sortie. voilà l'extrait :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
open my $fh_data, '<', $fichier_temporaire or die("Impossible de lire $fichier_temporaire\n");
open(Resultat, ">>Resultat.$date_today.txt");   # ouvrir le fichier avec extension date du jour pour l'écriture
  print Resultat "[Traitement Parse]\n";  # écrire le fichier 
  while ( my $Ligne = <$fh_data> ) {
    chomp($Ligne); 
    # Si la ligne match notre regex
    if ( my @motif = $Ligne =~ m/(<.+?>)/g ) {
      print "$motif[1] et $motif[2]\n";
    }
    else {
      print "[NON PARSE] $Ligne\n";
    }
  }
  close(Resultat); #fermer le fichier
  close($fh_data);

Sujet dépanné : MERCI

07/01/2011, 20h23
jazzexperience

UNe dernière chose, dans le dernier code, tu m'a proposé ceci

Citation:

if ( my @motif = $Ligne =~ m/(<.+?>)/g ) {

Peux-tu m'expliquer ce bout de code

Citation:

~ m/(<.+?>)/g

Merci
09/01/2011, 09h34
Philou67430

L'opérateur ~ n'existe pas. Il s'agit de l'opérateur =~ (qui match le motif).
Ainsi :

Code:

$Ligne =~ m/(<.+?>)/g

Signifie : Chercher dans $Ligne le motif /.+? / autant de fois qu'il existe (/g) et l'extraire pour le retourner (les parenthèses capturantes autour du motif).
Ainsi, en écrivant

Code:

my @motif = $Ligne =~ m/(<.+?>)/g

on récupère dans @motif la liste des éléments capturés dans $Ligne, et si l'on insère cette instruction dans un if, on n'entrera dans le premier bloc de code du if que si la liste @motif est non vide.
10/01/2011, 08h48
jazzexperience

Ah bon, je croyais que cette syntaxe

Citation:

$Ligne =~ m/(<.+?>)/g

indiquait "récupération de tous les éléments de la ligne entourés par <...>

d'où print "$motif[1] et $motif[2]\n";
Element du tableau (1,2 ...) à remonter au choix
10/01/2011, 08h51
Philou67430

C'est en résumé ce que j'ai dit...
10/01/2011, 09h21
jazzexperience

sur cette ligne

<Dec 14, 2010 4:51:15 AM> <Notice> <LogicServer> <Server started> <> <Séquence Démarrage> <_ERROR>

le résultat souhaité

<Dec 14, 2010 4:51:15 AM> <Notice> <LogicServer> <_ERROR>

je fais

Citation:

print "$motif[0] $motif[1] $motif[2] $motif[6]\n";

et cela ne fonctionne pas car quand je fais un sleep pour voir le contenu du fichier temporaire, tous les termes <...> ne sont pas présents.

Voir 40 message(s) de cette discussion en une page