Remplacement d'un caractère par un espace

**miboz** · 03/08/2009, 11h36

Bonjour à tous,

Je dois traiter un fichier de log afin d'extraire des timestamps dans le but de calculer leur delta time respectif.
J'ai un début de script qui gère la partie tri du fichier et extraction des strings recherchées.
Il me reste à calculer la différence de temps entre les couples de dates.

Le premier problème qui se pose est que mes dates sont au format 2009-08-10-23:10:48.256.
En perl, j'ai trouvé le module Time:: ParseDate avec la fonction parsedate() qui convertit une date en nombre de seconde par rapport à epoch. Mais cette fonction ne marche qu'avec des formats (celui proche du mien) du type
2009-08-10 23:10:48

Ma question est donc 1)comment traiter mes dates extraites de mon fichier de log afin que le "-" séparant la date des heures soit remplacé par un espace et 2) comment faire pour traiter les millisecondes dans ma conversion?

Merci par avance pour votre aide.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
 
#!/usr/bin/perl
 
use Data::Dumper;
 
my %in_out = (
"de AEM"=>"referentiel AEM",
"de SIMPA"=>"demande de synchro",
"par SIMPA"=> "valide la",
"transaction SIMPA"=>"annule",
"a LCU"=>"notifie"
);
print Dumper \%in_out;
my %results;
my @files=glob("syntheticLog*.log");
print Dumper \@files;
foreach my $file (@files) {
 open FILE, $file;
 my @lines=<FILE>;
 foreach my $line (@lines) {
   foreach $in_key (keys %in_out) {
     if ($line=~/^(.*)\s\[BillingManager\]\s\[MSISDN\s\:\s(\w*)\].*$in_key.*$/) {
       %{$results{$2}}->{in}=$1;
     }
     if ($line=~/^(.*)\s\[BillingManager\]\s\[MSISDN\s\:\s(\w*)\].*$out_key.*$/) {
       %{$results{$2}}->{out}=$1;
     }
   }
 }
 close FILE;
}
 
print Dumper \%results;
 
open FILE, ">out.csv";
 
foreach my $msisdn (keys %results) {
  $results{$msisdn}->{delta_time}=
  $results{$msisdn}->{in}, $results{$msisdn}->{out};
 
 print FILE "$msisdn,$results{$msisdn}->{in},$results{$msisdn}->{delta_time}\n"
};
close FILE;
print "Tri termine et fichier out.csv généré\n";

PS: pour info mes couples de date sont représentés par les variables $results{$msisdn}->{in} et $results{$msisdn}->{out}. La partie calcul de différence se fera dans " $results{$msisdn}->{delta_time}="

**miboz** · 03/08/2009, 11h45

Pour info supplémentaire voici le contenu du fichier de sortie out.csv:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
0706410005,2009-07-09-16:52:20.737,2009-07-09-16:52:20.737
0641203300,2009-07-21-12:12:19.424,2009-07-21-12:12:19.424
0101000001,2009-07-10-19:22:48.049,2009-07-10-19:22:48.049
0306400199,2009-07-17-16:28:28.708,2009-07-17-16:28:28.708
0706410100,2009-07-17-16:47:08.653,2009-07-17-16:47:08.653
0604100000,2009-07-06-15:06:24.929,2009-07-06-15:06:24.929
0306400196,2009-07-17-18:28:44.073,2009-07-17-18:28:44.073
0111000018,2009-07-10-19:05:04.838,2009-07-10-19:05:04.838
0203400010,2009-07-10-19:23:27.383,2009-07-10-19:23:27.383
0706410195,2009-07-17-18:42:26.594,2009-07-17-18:42:26.594
0306400005,2009-07-09-16:49:41.158,2009-07-09-16:49:41.158
0640110000,2009-07-21-12:11:47.937,2009-07-21-12:11:47.937
0706410002,2009-07-09-09:44:16.235,2009-07-09-09:44:16.235
0706410200,2009-07-09-16:46:48.507,2009-07-09-16:46:48.507
0640213300,2009-06-18-13:36:53.687,2009-06-18-13:36:53.687
0540050012,2009-07-17-16:29:31.134,2009-07-17-16:29:31.134
0706410000,2009-07-09-09:20:51.767,2009-07-09-09:20:51.767
0203400003,2009-07-09-18:11:50.239,2009-07-09-18:11:50.239
0641201101,2009-06-19-18:39:28.069,2009-06-19-18:39:28.069
0641050000,2009-07-08-16:30:18.918,2009-07-08-16:30:18.918
0203400001,2009-07-09-17:12:08.758,2009-07-09-17:12:08.758
0540070013,2009-07-08-16:05:39.714,2009-07-08-16:05:39.714
0611111001,2009-07-10-09:27:47.532,2009-07-10-09:27:47.532
0680010000,2009-06-30-16:30:35.209,2009-06-30-16:30:35.209
0706411002,2009-06-17-17:32:22.369,2009-06-17-17:32:22.369
0306400198,2009-07-17-18:36:05.185,2009-07-17-18:36:05.185
0606401100,2009-06-17-18:11:59.401,2009-06-17-18:11:59.401

et la sortie du terminal:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
$VAR1 = {
          'par SIMPA' => 'valide la',
          'transaction SIMPA' => 'annule',
          'de SIMPA' => 'demande de synchro',
          'de AEM' => 'referentiel AEM',
          'a LCU' => 'notifie'
        };
$VAR1 = [
          'syntheticLog_1248342968748.log'
        ];
$VAR1 = {
          '0706410005' => {
                            'out' => '2009-07-09-16:52:20.759',
                            'in' => '2009-07-09-16:52:20.737'
                          },
          '0641203300' => {
                            'out' => '2009-07-21-12:12:20.430',
                            'in' => '2009-07-21-12:12:19.424'
                          },
          '0101000001' => {
                            'out' => '2009-07-10-19:22:48.065',
                            'in' => '2009-07-10-19:22:48.049'
                          },
          '0306400199' => {
                            'out' => '2009-07-17-16:28:29.519',
                            'in' => '2009-07-17-16:28:28.708'
                          },
          '0706410100' => {
                            'out' => '2009-07-17-16:47:08.675',
                            'in' => '2009-07-17-16:47:08.653'
                          },
          '0604100000' => {
                            'out' => '2009-07-06-15:06:24.946',
                            'in' => '2009-07-06-15:06:24.929'
                          },
          '0306400196' => {
                            'out' => '2009-07-17-18:28:44.107',
                            'in' => '2009-07-17-18:28:44.073'
                          },
          '0111000018' => {
                            'out' => '2009-07-10-19:05:04.858',
                            'in' => '2009-07-10-19:05:04.838'
                          },
          '0203400010' => {
                            'out' => '2009-07-10-19:23:27.400',
                            'in' => '2009-07-10-19:23:27.383'
                          },
          '0706410195' => {
                            'out' => '2009-07-17-18:42:26.618',
                            'in' => '2009-07-17-18:42:26.594'
                          },
          '0306400005' => {
                            'out' => '2009-07-09-16:49:41.185',
                            'in' => '2009-07-09-16:49:41.158'
                          },
          '0640110000' => {
                            'out' => '2009-07-21-12:11:48.940',
                            'in' => '2009-07-21-12:11:47.937'
                          },
          '0706410002' => {
                            'out' => '2009-07-09-09:44:16.254',
                            'in' => '2009-07-09-09:44:16.235'
                          },
          '0706410200' => {
                            'out' => '2009-07-09-16:46:49.261',
                            'in' => '2009-07-09-16:46:48.507'
                          },
          '0640213300' => {
                            'out' => '2009-06-18-13:36:53.708',
                            'in' => '2009-06-18-13:36:53.687'
                          },
          '0540050012' => {
                            'out' => '2009-07-17-16:29:31.155',
                            'in' => '2009-07-17-16:29:31.134'
                          },
          '0706410000' => {
                            'out' => '2009-07-09-09:20:51.813',
                            'in' => '2009-07-09-09:20:51.767'
                          },
          '0203400003' => {
                            'out' => '2009-07-09-18:11:50.264',
                            'in' => '2009-07-09-18:11:50.239'
                          },
          '0641201101' => {
                            'out' => '2009-06-19-18:39:28.087',
                            'in' => '2009-06-19-18:39:28.069'
                          },
          '0641050000' => {
                            'out' => '2009-07-08-16:30:18.949',
                            'in' => '2009-07-08-16:30:18.918'
                          },
          '0203400001' => {
                            'out' => '2009-07-09-17:12:08.784',
                            'in' => '2009-07-09-17:12:08.758'
                          },
          '0540070013' => {
                            'out' => '2009-07-08-16:05:39.782',
                            'in' => '2009-07-08-16:05:39.714'
                          },
          '0611111001' => {
                            'out' => '2009-07-10-09:27:47.550',
                            'in' => '2009-07-10-09:27:47.532'
                          },
          '0680010000' => {
                            'out' => '2009-06-30-16:30:35.233',
                            'in' => '2009-06-30-16:30:35.209'
                          },
          '0706411002' => {
                            'out' => '2009-06-17-17:32:23.442',
                            'in' => '2009-06-17-17:32:22.369'
                          },
          '0306400198' => {
                            'out' => '2009-07-17-18:36:05.202',
                            'in' => '2009-07-17-18:36:05.185'
                          },
          '0606401100' => {
                            'out' => '2009-06-17-18:11:59.423',
                            'in' => '2009-06-17-18:11:59.401'
                          }
        };
Tri termine et fichier out.csv genere

Merci par avance pour le coup de main

**djibril** · 03/08/2009, 12h25

Tu peux utiliser des expressions régulières pour remplacer les tirets par des espaces. Pour la manipulation des dates, voici quelques codes mis à votre disposition ici.

**iblis** · 03/08/2009, 17h41

Juste au cas où tu hésiterais encore : DateTime et ses modules associés devraient te permettre de faire ce que tu veux très facilement.

Pour que tu vois comment ça marche (pas testé

, mais ça ne devrait pas poser de problème) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
use DateTime::Format::Strptime;
use DateTime::Format::Duration;
 
my $time_format =
    DateTime::Format::Strptime->new( pattern => '%Y-%m-%d-%H:%M:%S.%3N' );
my $duration_format =
    DateTime::Format::Duration->new( pattern => '%4M:%S.%3N' );
 
while (<>) {
  chomp;
  my @fields = split(',');
  my $start = $time_format->parse_datetime( $fields[1] );
  my $end = $time_format->parse_datetime( $fields[2] );
  my $elapsed = $end->delta_ms($start);  
  print $fields[0], ',', $duration_format->format_duration($elapsed), "\n";  
}

Bon, comme tu vois je parse les champs de ton csv en fournissant un motif à ::Strptime. Si tu regardes la doc, tu verras que delta_ms soustrait les dates en min et sec, ce qui est bien mieux qu'un simple substract_datetime.

Remplacement d'un caractère par un espace

Langage Perl

Discussions similaires

Partager

Partager