Discussion :

[africanwinners]

Bonsoir à tous

j'ai un programme perl qui lit un fichier texte et dont j'extrais des mots.
Le problème que ce programme se plante à cause de et m'affiche "out of memory" c'est à dire mémoire insuffisante

y a t'il une solution à ce problème
Mon programme est très simpe

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
#!/usr/bin/perl
open(FIC, $ARGV[0]);
print "choisis un nom de fichier pour contenir les termes extraits\n";
my $fic=<STDIN>;
 
open(FIC1, ">$fic");
 
while (<FIC>) {
my $ligne=$_;
chomp($ligne);
my @liste=$ligne;
 
 
#affectation des lignes au tableau, chaque ligne contient un mot dans le fichier
@b[$k].=$liste[0]."";
 
 
$k++;
 
}
 
for($i=0;$i<$k;++$i){
 
if ($b[$i]=~/*\.xml/)
{ print FIC1 "\n$b[$i]\n";}
 
....
}

qu'elle est la solution pour la gestion mémoire de ces grands fichiers.

Merci pour votre aide

[Lolo78]

A la lectgure du bout de code que tu as donné, il ne semble pas y avoir de bonne raison de stocker tes données en mémoire. Traite tes lignes au fur et à mesure que tu les lis, tu n'auras pas de problème.

Ton code contient de très nombreux problèmes de syntaxe et de style, ce serait bien de les corriger.

[Jiheme44]

ligne 11 :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

my @liste=$ligne;

ne manquerait il pas un split ?
je n'ai aucune idée du fonctionnement de perl quand iltransforme un scalaire en liste.

plus loin :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
#affectation des lignes au tableau, chaque ligne contient un mot dans le fichier
@b[$k].=$liste[0]."";
$k++;

si je ne me trompe, tu cherches à mettre le premier élément du tableau @liste dans le tableau @b ?
Si oui, il y a plus simple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

push( @b, $liste[0]."");

et ensuite pour l'affichage, tu pourras faire un foreach :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
foreach (@b ){
  if ($_ =~/*\.xml/) { 
    print FIC1 "\n$_\n";}
    ....
  }
}

[Lolo78]

Les points que tu soulèves sont pertinents, JM, mais il y a d'autres problèmes.

Dejà il faudrait ajouter

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
use strict;
use warnings;

en début de programme.

Surtout, pour répondre précisément à la question posée, il ne semble y avoir aucune rauson valable de stocker le contenu du fichier dans un tableau s'il s'agit ensuite de seulement imprimer ces lignes si elles sont reconnues par l'expression régulière. Autant faire le test directement sur la ligne lue et imprimer si la ligne est reconnue, le programme pourra lire des fichiers de dizaines de gigaoctets sans consommer pour ainsi dire de mémoire.

[Philou67430]

Surtout, pour répondre précisément à la question posée, il ne semble y avoir aucune rauson valable de stocker le contenu du fichier dans un tableau s'il s'agit ensuite de seulement imprimer ces lignes si elles sont reconnues par l'expression régulière.

En fait, il faudrait que africanwinners dévoile un peu ce qui se cache derrière les "points de suspension" de la deuxième boucle...