Error out of memory!

**jamsgoodon** · 19/05/2010, 16h25

Bonjour je veux parser deux fichiers pour en faire 1 au final.
A chaque fois que je lance mon script je reçoit un message out of memory alors que mes fichiers sont relativement pas énorme.

Est ce que quelqu'un pourrais m'aider s.v.p.
Merci d'avance.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
#!/bin/perl
use strict;
use warnings;
 
my $line;
my @values;
my @liste_flj = ();
my @liste_ak = ();
my @col2;
my @col3;
my @valeur;
 
 
open (FILE1, "+<ak_acc2.txt");
open (FILE2, "+>files2.txt");
 
 
my$i= 0;
while ($line = <FILE1>){
$i++;
recuperation_Infos($_);
 
 
 
	if ($line ){
	@values= split(/\t/,$line);
	print "the AK :".$values[0]."\n";
	print " the HIT :".$values[1]."\n";
 
 
 
	#$liste_flj[$i];
	$col2[$i]=$values[0];
	#$col3[$i]=$values[1];
 
		if($col2[$i]=$liste_ak[$i]){
 
				 $col3[$i]= $values[1]; 
 
		}
 
		else {
 
				 $col3[$i]= '';
 
		}	
 
 
	}
	print "list_col3 $col3[$i]\n";
	print "list_flj $liste_flj[$i]\n";
	print "liste_col2 $col2[$i]\n";
	print FILE2 "$liste_flj[$i]\t$col2[$i]\t$col3[$i]\n";		
 
}
 
 
close (FILE1);
 
 
close (FILE2);
 
sub recuperation_Infos{ 
 
open (FILE, "+<FLJ_57628.txt");
 
while ($_ = <FILE>){
 
	if ($_ ){
 
 
	@valeur= split(/\t/,$_);
	#print "\nsitstart :".$valeur[0]."\n";
	#print "\nsitend :".$valeur[1]."\n";
 
 
	push (@liste_flj, $valeur[0]);
	push (@liste_ak, $valeur[1]);
 
 
	}
 
}
 
close (FILE);
 
}

**djibril** · 19/05/2010, 16h38

Il faut que tu revois ton algo car tu dois stocker tes fichiers x fois en mémoire.
Commence par nous expliquer ce que tu souhaites faire en français.

**jamsgoodon** · 19/05/2010, 18h03

Au fait ce que je veux faire c'est:

En partant de deux tables(qui sont sur un fichier .txt) de 2 colonnes chacune, faire un fichier texte (une nouvelle table de 3 colonnes).

Concretement, la premiere table associe un non exemple 'AAAAAAAA' à un autre nom 'BBBBBBBBB' et la deuxieme table associe 'BBBBBBBB' À 'CCCCCCCC'.

Aprés avoir recuperer tous ces noms, sans souci, je veux faire un nouveau fichier dans lequel, 'AAAAAAAAA' , 'BBBBBBBB' et 'CCCCCCCCC' seront associés.

Sachant que tous les 'AAAAAAAAA' sont associées à un 'BBBBBBBBB' mais pas forcement un 'CCCCCCCCCCC'.

On regarde les 'BBBBBBBBB' qui sont à la fois dans la table1 et la table2 et les 'AAAAAAAA' qui leur sont associés seront associés à leur 'CCCCCCCCCC'.

Pour les 'BBBBBBBB' de la table1 qui ne sont pas présent dans la table2, à la place du 'CCCCCCCCC' il faudra mettre un truc du genre '----' (pour dire que le 'AAAAAAAA' associé n'a pas de 'CCCCCCCCC' associé.

Ouf!!!
Tout ceci est trop lourd mais j'ai pas trop le choix.
En espérant avoir été claire.

**djibril** · 19/05/2010, 18h12

Décidément tu n'es pas clair et je ne comprends rien.
Essaye de ré-expliquer et de donner des exemples concrets de données d'entrée et de sorties.

**Mr6** · 20/05/2010, 06h28

En gros tu veux faire :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
 
my %list_AB;
 
while (<F1>) {
my ($AA, $BB) =split /\s/,$_;
$list_AB{$AA} = $BB;
}
 
my %list_BC;
 
while (<F2>) {
my ($BB, $CC) =split /\s/,$_;
$list_BC{$BB} = $CC || '------';
}
 
foreach my $AA (keys (%$list_AB)) {
print "$AA $list_AB{$AA} $list_BC{$list_AB{$AA}}\n";
}

Ca doit peut-etre pouvoir s'optimiser si les fichiers sont gros...

@+
Mr6

**jamsgoodon** · 21/05/2010, 11h05

Merci c'est exactement ce que je voulais faire!
J'ai essayé ce script mais le terminal me renvoi un message d'erreur,

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Global symbol "$list_AB" requires explicit package name at hfak.pl line 14.

J'ai regardé mes déclarations mais je vois pas ou ça bloque.
Help if possible!

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
#!/bin/perl
use strict;
use warnings;
 
 
my %list_BC;
my %list_AB;
 
 
RECUP_flj_ab($_);
RECUP_ab_hin($_);
open (FILE2, "+>files2.txt");
 
foreach my $AA (keys (%$list_AB)) {
print "$AA $list_AB{$AA} $list_BC{$list_AB{$AA}}\n";
}
 
close (FILE);
 
 
 
sub RECUP_flj_ab{
 
open (FILE, "+<FLJ_57628.txt");
 
while (<FILE>) {
my ($AA, $BB) =split /\s/,$_;
$list_AB{$AA} = $BB;
}
close (FILE); 
 
}
 
 
sub RECUP_ab_hin{
 
open (FILE1, "+<ak_acc2.txt"); 
 
while (<FILE1>) {
my ($BB, $CC) =split /\s/,$_;
$list_BC{$BB} = $CC || '------';
}
close (FILE1);
 
}