Discussion :

[blacksnake]

Bonjour,

Débutant en Perl, je reçois des fichiers de reporting tous les matins et ils doivent être nettoyés avant de pouvoir être exploités. J'utilise un script comme celui-ci pour réaliser l'opération. Ma question est comment éviter l'étape " (NEW, ">tmp.csv") ".

Merci de votre aide

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
 
#!/usr/bin/perl -w
 
 
@T      = localtime(time-86400);
$mydate = sprintf("%04d%02d%02d",($T[5]+1900),$T[4]+1,$T[3]);
$mvno_f = "reporting_eai_siebel_mvno_$mydate\.csv";
 
open(MAINFILE, "$mvno_f") || die "Can't open file\n";
  @mvno_r = <MAINFILE>;
close(MAINFILE);
 
foreach (@mvno_r) {
    # Lignes à supprimer
    $_ = "" if ($_ =~ m/Nb lignes/);
    $_ = "" if ($_ =~ m/DSI CRM_ERR_EXP/);
    chomp $_;
}
 
open(NEW, ">tmp.csv") || die "Can't open file\n";
  foreach (@mvno_r) {
    print NEW $_."\n" if ($_);
  }
close(NEW);
 
# Ajout des sauts de lignes par catégorie
open(FILE, "tmp.csv");
 
  open(NEW, ">result.csv");
  while(<FILE>) {
    $_ =~ s/^AR/\nAR/;
    $_ =~ s/^CR/\nCR/;
 
    print(NEW "$_");
  }
  close(NEW);
 
close(FILE);  
unlink("tmp.csv");

[PluX59]

Hugh,

Si j'ai bien compris ton script:
1 - tu charges un fichier dont le nom est stocké dans la variable '$mvno_f' dans un tableau,
2 - tu vires quelques menues lignes,
3 - tu enregistres le tout dans un fichier temporaire
4 - tu r'ouvres ce fichier temporaire pour modifier certaines lignes...

Effectivement, c'est optimisable
1 - D'abord éviter de passer par le chargement complet du fichier dans un tableau (en cas de gros gros fichier, la ram explose)
2 - Opérer tous les changements en une seule passe, ligne par ligne: je charge une ligne, je fais les modifs et je l'enregistre si besoin.

Ca donne à peu près ce code là...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
 
#!/usr/bin/perl -w
 
@T      = localtime(time-86400);
$mydate = sprintf("%04d%02d%02d",($T[5]+1900),$T[4]+1,$T[3]);
$mvno_f = "reporting_eai_siebel_mvno_$mydate\.csv";
 
open(MAINFILE, "$mvno_f") || die "Can't open file\n";
open(NEW, ">result.csv")
while(<MAINFILE>) {
  chomp(); # Perso je préfère un 's/(\r|\n)//g;'
  # Lignes à supprimer
  next if ($_ =~ m/Nb lignes/);
  next if ($_ =~ m/DSI CRM_ERR_EXP/);
  $_ =~ s/^AR/\nAR/; # la ligne 's/^AR/\nAR/;' est équivalente
  $_ =~ s/^CR/\nCR/;
 
  print(NEW "$_\n");
}
close(NEW);
close(MAINFILE);

Dis nous si ça fonctionne ou non...

PluX59

[lami20j]

Salut,

pour des raisons de paresse j'a pris le code de PluX59 et voilà ce que ça donne

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
#!/usr/bin/perl -w
 
@T      = localtime(time-86400);
$mydate = sprintf("%04d%02d%02d",($T[5]+1900),$T[4]+1,$T[3]);
$mvno_f = "reporting_eai_siebel_mvno_$mydate\.csv";
 
open MAINFILE, "$mvno_f" or die "E/S : $!\n";
open NEW, ">result.csv"  or die "E/S : $!\n";
 
while(<MAINFILE>) {
  # chomp(); # Perso je ne chomp pas
  # Lignes à supprimer
  next if /Nb lignes|DSI CRM_ERR_EXP/;
  s/^([AC]R)/\n$1/; 
  print NEW $_;
}
close NEW;
close MAINFILE;

lami20j

[blacksnake]

YES

Ca marche, nikel. Merci à vous. J'ai pris le code de Plux ce matin, vais tester le tiens, Lami.

[blacksnake]

Je cherche pour ce même programme à afficher la taille du fichier, mais je souhaiterais qu'elle soit formatée :

1500 bytes ==> 1 500 bytes

J'ai regardé du coté de sprintf mais pas trouvé l'info ...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
$size = -s "../htdocs/report_done/mvno.csv";
$size_mvno = sprintf( "%0.3f", $size/1000);

Merci

EDIT

http://www.developpez.net/forums/showthread.php?t=35093