Discussion :

[stoyak]

Bonjour à tous,

J'ai utilisé le module

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

use Data::Dumper;

pour parser des fichiers de plus de 16Go. J'ai afficher la sortie dans un fichier texte :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
open my $fh,'<',$file || die "Unable to print in $file\n"
my %hash;
.../....
print {$fh} Dumper %hash;

J'aimerais pouvoir travailler facilement sur ce fichier de sortie et en extraire les informations :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
$VAR1 = 'keys1';
$VAR2 = [
          'val1',
          'val2',
          'val3'
        ];
$VAR3 = 'keys2';
$VAR4 = [
          'val12',
          'val56'
        ];

Connaitriez-vous un moyen simple de le faire ? Par un module par exemple.

Merci pour votre aide

[djibril]

Aïe,

Dumper permet de donner une information mais son rôle n'est point la sérialisation afin de pouvoir récupérer les données après. De plus, étant donné que vous avez écrit

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

print {$fh} Dumper %hash;

sans passer la référence du HASH, vous obtenez plusieurs variables au lieu d'une représentant un hash.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

print {$fh} Dumper \%hash;

Exemple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
my %color = ('Blue' => 0.1, 'Red' => 0.8, 'Black' => 0, 'White' => 1);
print Dumper %color;

donnera

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
$VAR1 = 'Red';
$VAR2 = '0.8';
$VAR3 = 'Blue';
$VAR4 = '0.1';
$VAR5 = 'Black';
$VAR6 = 0;
$VAR7 = 'White';
$VAR8 = 1;

Alors que

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
my %color = ('Blue' => 0.1, 'Red' => 0.8, 'Black' => 0, 'White' => 1);
print Dumper \%color;

donnera

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
$VAR1 = {
          'Red' => '0.8',
          'Blue' => '0.1',
          'Black' => 0,
          'White' => 1
        };

[djibril]

Je te propose de relancer ton programme en utilisant Storable pour pouvoir stocker ton hash dans un fichier et aussi Dumper pour pouvoir lire visuellement si tu as besoin.

Voici ce que je te propose :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
#!/usr/bin/perl
use strict;
use warnings;
 
use Storable qw(store retrieve freeze thaw dclone);
use Data::Dumper;
 
my %color = ('Blue' => 0.1, 'Red' => 0.8, 'Black' => 0, 'White' => 1);
 
open my $fh_dumper, '>', 'dumper_hash.txt';
print {$fh_dumper} Dumper \%color;
close $fh_dumper;
 
store(\%color, 'storable_hash') or die "Can't store !\n";

Ainsi, tu auras deux fichiers, le txt pour une lecture visuelle, et l'autre si tu as besoin de le recharger en mémoire avec un autre prog.

Pour le recharger avec Storable, c'est simple

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

my $hashref = retrieve('storable_hash');

Voilà !

[stoyak]

Merci pour cette information.

Cela m'oblige toutefois à relancer le script original et à régénérer les fichiers de plus de 16Go. L'après-midi va être longue ..

[Philou67430]

Dumper est tout à fait utilisable pour sérialiser, et fonctionnel dans beaucoup de cas.
Pour cela, il est préférable d'utiliser la méthode "longue", et pour relire le fichier, la commande do :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
use Data::Dumper;
our $config_data = { 'Blue' => 0.1, 'Red' => 0.8, 'Black' => 0, 'White' => 1 };
our @users = qw(philou67430 stoyak djibril);
 
my $config_file = "config.pm";
open my $CONFIG, ">", $config_file or die "Can't open $config_file: $!";
print { $CONFIG } Data::Dumper->Dump([$config_data, \@users], [qw($config_data *users)]);
close $CONFIG;
 
# ...
 
# Pour relire le fichier
unless ($return = do $config_file) {
  warn "couldn't parse $config_file: $@" if $@;
  warn "couldn't do $config_file: $!"    unless defined $return;
  warn "couldn't run $config_file"       unless $return;
}

Pour être complet, voici un petit comparatif des sérialiseurs, qui a le mérite de lister les limites de chacun.

[djibril]

Merci Philou67430 pour ta réponse. Par contre, l'un des inconvénients de la sérialisation de Data::Dumper est la sécurisation des données étant donné que tout est en clair. Néanmoins, ça fonctionne.

[Philou67430]

Tout à fait, c'est une limite listée par le lien que j'ai fourni.

Pour des petits besoins limités à un usage "local", c'est très pratique, et assez souple (notamment, ça permet d'éditer le fichier de configuration, justement parce qu'il est en clair ; bien sur, au risque et péril de l'utilisateur). On peut ajouter une sécurisation externe (code md5, droits d'accès au fichier, ...).

L'autre gros intérêt de Data::Dumper, notamment le fait que les données soient en clair, c'est pour faciliter l'analyse (pour maintenance ou correction de bug) de structures de données complexes.

[djibril]

L'autre gros intérêt de Data:umper, notamment le fait que les données soient en clair, c'est pour faciliter l'analyse (pour maintenance ou correction de bug) de structures de données complexes.

[stoyak]

Merci pour ces informations !