Discussion :

[zaboug]

Bonjour,

je voulais savoir s'il y a une limite de taille des fichiers que l'on peut parser avec Perl?

En effet, j'ai un fichier de 277 Go que je dois parser pour faire des stats.
Le truc de base, c'est de compter le nombre de fois qu'on retrouve une certaine chaine de caractère. Je le fais avec le code suivant :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
 
        open(MATCH, "<$opt_f") or die("Impossible d'ouvrir $opt_f\n");
 
	my $line;
	my $prom_id = 0;
 
	while(defined($line=<MATCH>) )
	{
		if($line =~ m/Tag_id .+/)
		{
			$prom_id ++;
 
		}
 
	}
 
	close(MATCH);
 
	print "\nNombre de promoteurs : $prom_id\n";

Si tout c'est bien passé avec le script qui a générer le fichier, $prom_id devrait valoir un peu plus de 12000.

Sauf que j'obtiens toujours l'erreur l'erreur suivante :

cgmc134:bin mathilde$ perl stat_FT_Match.pl -f ../resultats/Match_natif_human_5000up.txt
perl(9196) malloc: *** mmap(size=2397048832) failed (error code=12)
*** error: can't allocate region
*** set a breakpoint in malloc_error_break to debug
Out of memory!

Je ne comprends pas comment une simple incrémentation peu générer un "out of memory". C'est pourquoi je me demandais s'il y avait une limite de taille des fichiers traitables par Perl ou pas...

[faaf78]

Bonjour,

Pourquoi tu ne découpe pas ton fichier en fichier plus petit pour ensuite les parsé les uns après les autres (en écrivant un .bat par exemple) ?

[zaboug]

j'y ai pensé, le problème c'est que je dois faire un décompte général de certaines chaines de caratères, et je ne vois pas comment je pourrais le faire en découpant le fichier d'origine.

L'autre problème, c'est que pour découper le fichier, il faudra quand même le parser (car il ne faut pas couper n'importe où)...

[zaboug]

Sur ce site : http://www.delafond.org/traducmanfr/...n1/perl.1.html

je viens de lire ceci :

Contrairement à la plupart des utilitaires Unix, Perl ne limite pas arbitrairement la taille des données --- si vous avez assez de mémoire, Perl peut remplir une chaine de caractères avec le contenu total d'un fichier. Il n'y a pas de niveau maximum à la récursivité. Et les tables utilisées par les tableaux de hachage (anciennement appellé ``tableaux associatifs'') croissent dès que nécessaire afin de garantir un bon niveau de performance.

Donc visiblement, Perl n'impose pas de limite de taille pour les fichiers qu'il peut traiter. Par contre, ce qu'il peut mettre en mémoire dépend de la mémoire qu'on a sur l'ordi qu'on utilise.

Est ce qu'il faut en déduire qu'il essaie de mettre le fichier entièrement en cache? auquel cas, forcément, un fichier de 277Go ça bloque...
Mais il me semblait justement qu'utiliser :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
open(MATCH, "<$opt_f") or die("Impossible d'ouvrir $opt_f\n");
 
my $line;
while(defined($line=<MATCH>) )
{
       traitement ligne par ligne
}

permettait de ne pas mettre tout le fichier en mémoire (vu que ça traite le fichier ligne par ligne).

En fait, je comprends pas du tout pourquoi j'obtiens un "out of memory" avec un code qui incrémente de 1 une variable pour seulement 12000 et quelques lignes d'un fichier, en le lisant ligne par ligne...

[djibril]

vu que tu parses ton fichier ligne à ligne, tu peux le faire sans souci, j'ai un réécrit ton code proprement.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
open( MATCH, '<', $opt_f) or die ("Impossible d'ouvrir $opt_f\n");
my $prom_id = 0;
while ( my $line = <MATCH>  ) {
  if(  $line =~ m/Tag_id .+/) {
    $prom_id ++;
  }
}
close(MATCH);
print "\nNombre de promoteurs : $prom_id\n";

[zaboug]

bah je suis bien d'accord avec toi, c'est ce que me semblait aussi. Sauf qu'en pratique, ça marche pas!
J'obtiens toujours le message suivant (en ayant pris ton code) :

cgmc134:bin mathilde$ perl stat_FT_Match.pl -f ../resultats/Match_natif_human_5000up.txt
perl(9647) malloc: *** mmap(size=2397048832) failed (error code=12)
*** error: can't allocate region
*** set a breakpoint in malloc_error_break to debug
Out of memory!