Discussion :

[zaboug]

Bonjour,

je voulais savoir s'il y a une limite de taille des fichiers que l'on peut parser avec Perl?

En effet, j'ai un fichier de 277 Go que je dois parser pour faire des stats.
Le truc de base, c'est de compter le nombre de fois qu'on retrouve une certaine chaine de caractère. Je le fais avec le code suivant :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
 
        open(MATCH, "<$opt_f") or die("Impossible d'ouvrir $opt_f\n");
 
	my $line;
	my $prom_id = 0;
 
	while(defined($line=<MATCH>) )
	{
		if($line =~ m/Tag_id .+/)
		{
			$prom_id ++;
 
		}
 
	}
 
	close(MATCH);
 
	print "\nNombre de promoteurs : $prom_id\n";

Si tout c'est bien passé avec le script qui a générer le fichier, $prom_id devrait valoir un peu plus de 12000.

Sauf que j'obtiens toujours l'erreur l'erreur suivante :

cgmc134:bin mathilde$ perl stat_FT_Match.pl -f ../resultats/Match_natif_human_5000up.txt
perl(9196) malloc: *** mmap(size=2397048832) failed (error code=12)
*** error: can't allocate region
*** set a breakpoint in malloc_error_break to debug
Out of memory!

Je ne comprends pas comment une simple incrémentation peu générer un "out of memory". C'est pourquoi je me demandais s'il y avait une limite de taille des fichiers traitables par Perl ou pas...

[faaf78]

Bonjour,

Pourquoi tu ne découpe pas ton fichier en fichier plus petit pour ensuite les parsé les uns après les autres (en écrivant un .bat par exemple) ?

[zaboug]

j'y ai pensé, le problème c'est que je dois faire un décompte général de certaines chaines de caratères, et je ne vois pas comment je pourrais le faire en découpant le fichier d'origine.

L'autre problème, c'est que pour découper le fichier, il faudra quand même le parser (car il ne faut pas couper n'importe où)...

[zaboug]

Sur ce site : http://www.delafond.org/traducmanfr/...n1/perl.1.html

je viens de lire ceci :

Contrairement à la plupart des utilitaires Unix, Perl ne limite pas arbitrairement la taille des données --- si vous avez assez de mémoire, Perl peut remplir une chaine de caractères avec le contenu total d'un fichier. Il n'y a pas de niveau maximum à la récursivité. Et les tables utilisées par les tableaux de hachage (anciennement appellé ``tableaux associatifs'') croissent dès que nécessaire afin de garantir un bon niveau de performance.

Donc visiblement, Perl n'impose pas de limite de taille pour les fichiers qu'il peut traiter. Par contre, ce qu'il peut mettre en mémoire dépend de la mémoire qu'on a sur l'ordi qu'on utilise.

Est ce qu'il faut en déduire qu'il essaie de mettre le fichier entièrement en cache? auquel cas, forcément, un fichier de 277Go ça bloque...
Mais il me semblait justement qu'utiliser :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
open(MATCH, "<$opt_f") or die("Impossible d'ouvrir $opt_f\n");
 
my $line;
while(defined($line=<MATCH>) )
{
       traitement ligne par ligne
}

permettait de ne pas mettre tout le fichier en mémoire (vu que ça traite le fichier ligne par ligne).

En fait, je comprends pas du tout pourquoi j'obtiens un "out of memory" avec un code qui incrémente de 1 une variable pour seulement 12000 et quelques lignes d'un fichier, en le lisant ligne par ligne...

[djibril]

vu que tu parses ton fichier ligne à ligne, tu peux le faire sans souci, j'ai un réécrit ton code proprement.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
open( MATCH, '<', $opt_f) or die ("Impossible d'ouvrir $opt_f\n");
my $prom_id = 0;
while ( my $line = <MATCH>  ) {
  if(  $line =~ m/Tag_id .+/) {
    $prom_id ++;
  }
}
close(MATCH);
print "\nNombre de promoteurs : $prom_id\n";

[zaboug]

bah je suis bien d'accord avec toi, c'est ce que me semblait aussi. Sauf qu'en pratique, ça marche pas!
J'obtiens toujours le message suivant (en ayant pris ton code) :

cgmc134:bin mathilde$ perl stat_FT_Match.pl -f ../resultats/Match_natif_human_5000up.txt
perl(9647) malloc: *** mmap(size=2397048832) failed (error code=12)
*** error: can't allocate region
*** set a breakpoint in malloc_error_break to debug
Out of memory!

[djibril]

bizarre

Peux tu nous montrer plus de codes ?
D'ailleurs, es tu sûr que ton fichier ne fasses pas qu'une seule ligne ?
D'où provient il ? a t il été crée sous linux, mac ou windows ?

[zaboug]

Justement, pour être sur que le problème venait pas d'ailleurs, j'ai fait un tout petit script à partir du code corrigé que tu m'as laissé :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
#!/usr/bin/perl -w
 
my $file = "../resultats/Match_natif_human_5000up.txt";
 
open( MATCH, '<', $file) or die ("Impossible d'ouvrir $file\n");
my $prom_id = 0;
while ( my $line = <MATCH>  ) {
  if(  $line =~ m/Tag_id .+/) {
    $prom_id ++;
  }
}
close(MATCH);
print "\nNombre de promoteurs : $prom_id\n";

et j'obtiens toujours le même message d'erreur (out of memory etc)

je suis sur que le fichier ne fait pas qu'une seule ligne pour deux raisons :
la première c'est que j'ai fait le script perl qui a généré ce fichier
la deuxième, c'est que j'ai vérifié avec un "more" sur la console (puisqu'évidemment, aucun éditeur de texte n'ouvre un fichier si gros )

Le fichier à parcourir a été créer sur Linux (Ubuntu en machine virtuelle) et est parsé sur Mac. Je suis obligé de générer ce fichier sur linux car le programme à partir duquel il est généré est un programme propriétaire pas compilé sur Mac.
Cela dit, j'avais déjà généré un fichier comme ça sur linux (mais il était beaucoup plus petit), et il n'y avait pas eu de problème pour le traiter sur Mac. D'ailleurs, je fais les tests avec deux fichiers : un de 1,45Go qui ne pose aucun problème, et celui de 277Go qui passe pas...

[djibril]

Je te parle des OS car avec mac, il arrive d'avoir des soucis de retour chariot qui peuvent au final faire que Perl n'en voit pas. Du coup, ton fichier, bien que via more, tu vois des lignes, ce n'est pas le cas pour Perl .

Essaye ceci sous ta console linux:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
perl -pi.bak -e 's/\r\n?/\n/g;'  ../resultats/Match_natif_human_5000up.txt

Si ça passe, relance ton script.

[zaboug]

j'obtiens exactement le même message...

tu veux bien m'expliquer ce que faisait cette ligne de commande?

Je te parle des OS car avec mac, il arrive d'avoir des soucis de retour chariot qui peuvent au final faire que Perl n'en voit pas. Du coup, ton fichier, bien que via more, tu vois des lignes, ce n'est pas le cas pour Perl .

ça arrive quand on génère un fichier via Mac, ou quand on lit un fichier via Mac un fichier généré sur un autre OS (en l'occurence Linux dans mon cas)?

[djibril]

La commande que je t'ai filé fais la conversion de tous les \r en \n classique, mais bon, c'est normal qu'on arrive au même souci vu qu'il essaye de lire le fichier ligne à ligne .

Test 1:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
#!/usr/bin/perl
use warnings;
use strict;
 
my $file = "../resultats/Match_natif_human_5000up.txt";
open( MATCH, '<', $file) or die ("Impossible d'ouvrir $file\n");
close(MATCH);

Ce code te donne un message d'erreur ?

[zaboug]

non, pas de message d'erreur. Donc il arrive bien à ouvrir le fichier et à le refermer...

dans le même genre, j'ai essayé avec le code suivant :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
 
#!/usr/bin/perl
use warnings;
use strict;
 
my $file = "../resultats/Match_natif_human_5000up.txt";
open( MATCH, '<', $file) or die ("Impossible d'ouvrir $file\n");
while ( my $line = <MATCH>) {}
 
close(MATCH);

il n'y a pas de message d'erreur non plus. Donc si on lui demande rien, il arrive à parcourir le fichier sans problème !

[djibril]

C'est déjà un bon début

TEST2:

Essayons de lire 5Mo de données dans le fichier

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
#!/usr/bin/perl
use warnings;
use strict;
 
my $file = "../resultats/Match_natif_human_5000up.txt";
open( MATCH, '<', $file) or die ("Impossible d'ouvrir $file\n");
my $data; 
read(MATCH,$data, 5_000);
  print $data; 
} 
close(MATCH);

As tu un résultat ?

Si oui, essaye de la rediriger dans un fichier

perl stat_FT_Match.pl > test.txt

et tape cette commande

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

od -c test.txt

as tu des \r dans le résultat de od ?

[zaboug]

bon, alors j'ai fait deux tests.

Avant de voir ton message, j'ai testé ce code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
#!/usr/bin/perl
use warnings;
use strict;
 
my $cpt = 0;
my $file = "../resultats/Match_natif_human_5000up.txt";
open( MATCH, '<', $file) or die ("Impossible d'ouvrir $file\n");
while ( my $line = <MATCH>) {
	$cpt++;
}
 
close(MATCH);
print "Nb de lignes : $cpt\n\n";

qui a marché : il y a 27029 lignes, ce qui n'est pas cohérents avec ce que j'attendais, j'en attendais beaucoup plus, donc il y a sans doute eu un problème lors de la création de ce fichier... Maintenant, est ce qu'il manque des sauts de lignes ou est ce que des lignes n'ont pas été imprimées...

Ensuite, j'ai fait le test que tu m'as demandé :
la lecture c'est faites sans problème, j'ai redirigé vers le fichier test.txt, et voilà le résultats de la commande

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

od -c test.txt

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
cgmc134:bin mathilde$ od -c test.txt
0000000    T   a   g   _   i   d       2   6   3   7   4   ,       T   r
0000020    a   n   s   c   r   i   p   t       N   M   _   0   3   2   3
0000040    4   4   ,       T   S   S       6   3   7   5   0   3   4   8
0000060    ,       U   p   s   t   r   e   a   m       5   0   0   0   ,
0000100        D   o   w   n   s   t   r   e   a   m       1   0   0   0
0000120   \n       V   $   A   H   R   _   Q   5                        
0000140                                        |                        
0000160        4   3       (   -   )       |           1   .   0   0   0
0000200        |           0   .   9   9   8       |       g   c   t   C
0000220    A   C   G   C   c   a   g  \t  \t   |  \t   A   h   R  \n    
0000240    V   $   A   H   R   _   Q   5                                
0000260                                |                           4   9
0000300    3       (   -   )       |           1   .   0   0   0       |
0000320            0   .   9   6   3       |       t   g   g   C   A   C
0000340    G   C   a   c   c  \t  \t   |  \t   A   h   R  \n       V   $
0000360    A   H   R   H   I   F   _   Q   6                            
0000400                        |                               4   3    
0000420    (   -   )       |           1   .   0   0   0       |        
0000440    0   .   9   9   2       |       g   c   t   C   A   C   G   C
0000460    c  \t  \t   |  \t   A   h   R  \n       V   $   A   H   R   H
0000500    I   F   _   Q   6                                            
0000520        |                           4   9   3       (   -   )    
0000540    |           1   .   0   0   0       |           0   .   9   8
0000560    8       |       t   g   g   C   A   C   G   C   a  \t  \t   |
0000600   \t   A   h   R  \n       V   $   A   H   R   H   I   F   _   Q
0000620    6                                                   |        
0000640                2   0   5   6       (   +   )       |           1
0000660    .   0   0   0       |           0   .   9   8   0       |    
0000700    t   G   C   G   T   G   t   c   t  \t  \t   |  \t   A   h   R
0000720   \n       V   $   A   H   R   H   I   F   _   Q   6            
0000740                                        |                       5
0000760    6   8   6       (   -   )       |           1   .   0   0   0
0001000        |           0   .   9   8   0       |       t   g   a   C
0001020    A   C   G   C   a  \t  \t   |  \t   A   h   R  \n       V   $
0001040    A   I   R   E   _   0   2                                    
0001060                        |                           1   7   9    
0001100    (   +   )       |           0   .   6   0   4       |        
0001120    0   .   6   2   4       |       a   a   A   A   A   T   T   a
0001140    c   c   t   g   g   g   c   a   t   g   g   t   g   g   t   g
0001160    g  \t  \t   |  \t   A   I   R   E  \n       V   $   A   I   R
0001200    E   _   0   2                                                
0001220            |                           6   2   8       (   -   )
0001240        |           0   .   8   7   7       |           0   .   6
0001260    6   5       |       c   a   a   a   a   a   a   c   a   a   a
0001300    a   c   a   a   a   a   c   A   A   A   A   A   a   c  \t  \t
0001320    |  \t   A   I   R   E  \n       V   $   A   I   R   E   _   0
0001340    2                                                           |
0001360                            6   3   2       (   -   )       |    
0001400        0   .   8   6   8       |           0   .   6   4   0    
0001420    |       a   a   a   c   a   a   a   a   c   a   a   a   a   c
0001440    a   a   a   a   A   A   C   A   A   a   t  \t  \t   |  \t   A
0001460    I   R   E  \n       V   $   A   I   R   E   _   0   2        
0001500                                                    |            
0001520            1   4   9   2       (   -   )       |           0   .
0001540    4   8   1       |           0   .   6   5   7       |       c
0001560    a   a   a   a   a   a   a   g   t   t   a   c   c   a   t   t
0001600    t   A   A   A   G   G   c   t  \t  \t   |  \t   A   I   R   E
0001620   \n       V   $   A   I   R   E   _   0   2                    
0001640                                        |                       5
0001660    9   2   2       (   +   )       |           0   .   6   2   3
0001700        |           0   .   6   2   0       |       c   a   T   T
0001720    C   C   T   t   a   a   a   g   g   g   a   a   a   a   t   t
0001740    g   g   c   c   t  \t  \t   |  \t   A   I   R   E  \n       V
0001760    $   O   S   F   2   _   Q   6                                
0002000                            |                           4   8   6
0002020        (   -   )       |           1   .   0   0   0       |    
0002040        0   .   9   7   1       |       g   g   T   G   T   G   G
0002060    t  \t  \t   |  \t   O   s   f   2  \n       V   $   O   S   F
0002100    2   _   Q   6                                                
0002120            |                       2   4   0   7       (   -   )
0002140        |           1   .   0   0   0       |           0   .   9
0002160    6   0       |       c   a   T   G   T   G   G   t  \t  \t   |
0002200   \t   O   s   f   2  \n       V   $   A   P   1   _   Q   4   _
0002220    0   1                                                   |    
0002240                        3   0   9       (   -   )       |        
0002260    0   .   9   6   0       |           0   .   9   4   0       |
0002300        g   T   G   A   C   A   a   a  \t  \t   |  \t   A   P   -
0002320    1  \n       V   $   A   P   1   _   Q   4   _   0   1        
0002340                                            |                    
0002360        6   0   5       (   -   )       |           0   .   9   6
0002400    0       |           0   .   9   3   2       |       g   T   G
0002420    A   C   A   g   a  \t  \t   |  \t   A   P   -   1  \n       V
0002440    $   A   P   1   _   Q   4   _   0   1                        
0002460                            |                           7   4   7
0002500        (   -   )       |           0   .   9   5   7       |    
0002520        0   .   9   3   8       |       c   T   G   A   C   C   a
0002540    a  \t  \t   |  \t   A   P   -   1  \n       V   $   A   P   1
0002560    _   Q   4   _   0   1                                        
0002600            |                       1   0   7   3       (   -   )
0002620        |           0   .   9   5   7       |           0   .   9
0002640    3   8       |       c   T   G   A   C   C   a   a  \t  \t   |
0002660   \t   A   P   -   1  \n       V   $   A   P   1   _   Q   4   _
0002700    0   1                                                   |    
0002720                    2   4   5   3       (   -   )       |        
0002740    0   .   9   5   7       |           0   .   9   4   0       |
0002760        c   T   G   A   C   C   t   a  \t  \t   |  \t   A   P   -
0003000    1  \n       V   $   A   P   1   _   Q   4   _   0   1        
0003020                                            |                    
0003040    2   7   0   6       (   +   )       |           1   .   0   0
0003060    0       |           0   .   9   7   8       |       t   a   A
0003100    G   T   C   A   g  \t  \t   |  \t   A   P   -   1  \n       V
0003120    $   A   P   1   _   Q   4   _   0   1                        
0003140                            |                       2   8   6   6
0003160        (   +   )       |           1   .   0   0   0       |    
0003200        0   .   9   3   7       |       g   g   A   G   T   C   A
0003220    g  \t  \t   |  \t   A   P   -   1  \n       V   $   A   P   1
0003240    _   Q   4   _   0   1                                        
0003260            |                       2   9   1   5       (   -   )
0003300        |           0   .   9   6   0       |           0   .   9
0003320    3   2       |       c   T   G   A   C   A   g   a  \t  \t   |
0003340   \t   A   P   -   1  \n       V   $   A   P   1   _   Q   4   _
0003360    0   1                                                   |    
0003400                    2   9   3   2       (   -   )       |        
0003420    1   .   0   0   0       |           0   .   9   9   7       |
0003440        g   T   G   A   C   T   c   a  \t  \t   |  \t   A   P   -
0003460    1  \n       V   $   A   P   1   _   Q   4   _   0   1        
0003500                                            |                    
0003520    2   9   3   3       (   +   )       |           0   .   9   2
0003540    9       |           0   .   9   3   7       |       t   g   A
0003560    C   T   C   A   t  \t  \t   |  \t   A   P   -   1  \n       V
0003600    $   A   P   1   _   Q   4   _   0   1                        
0003620                            |                       4   3   5   1
0003640        (   -   )       |           0   .   9   5   7       |    
0003660        0   .   9   6   2       |       a   T   G   A   C   C   c
0003700    a  \t  \t   |  \t   A   P   -   1  \n       V   $   A   P   1
0003720    _   Q   2   _   0   1                                        
0003740            |                       2   7   0   1       (   -   )
0003760        |           1   .   0   0   0       |           0   .   9
0004000    6   8       |       a   c   a   c   c   t   a   A   G   T   C
0004020    A  \t  \t   |  \t   A   P   -   1  \n       V   $   A   P   1
0004040    _   Q   2   _   0   1                                        
0004060            |                       2   9   3   3       (   +   )
0004100        |           1   .   0   0   0       |           0   .   9
0004120    8   2       |       T   G   A   C   T   c   a   t   g   c   c
0004140    c  \t  \t   |  \t   A   P   -   1  \n       V   $   A   P   1
0004160    _   Q   2   _   0   1                                        
0004200            |                       4   3   5   2       (   +   )
0004220        |           0   .   9   7   8       |           0   .   9
0004240    7   0       |       T   G   A   C   C   c   a   c   t   g   c
0004260    a  \t  \t   |  \t   A   P   -   1  \n       V   $   A   P   2
0004300    _   Q   6   _   0   1                                        
0004320            |                       1   5   9   7       (   -   )
0004340        |           0   .   8   6   9       |           0   .   8
0004360    9   1       |       g   G   C   C   C   A   g   g   g   a   a
0004400    c   c  \t  \t   |  \t   A   P   -   2  \n       V   $   A   P
0004420    2   _   Q   6   _   0   1                                    
0004440                |                       1   8   1   3       (   +
0004460    )       |           0   .   8   6   9       |           0   .
0004500    8   8   2       |       t   t   g   g   c   c   g   T   G   G
0004520    G   C   g  \t  \t   |  \t   A   P   -   2  \n       V   $   A
0004540    P   2   _   Q   6   _   0   1                                
0004560                    |                       1   8   1   5       (
0004600    -   )       |           0   .   8   6   9       |           0
0004620    .   8   9   4       |       g   G   C   C   G   T   g   g   g
0004640    c   g   a   c  \t  \t   |  \t   A   P   -   2  \n       V   $
0004660    A   P   2   _   Q   6   _   0   1                            
0004700                        |                       1   8   5   8    
0004720    (   -   )       |           0   .   9   8   0       |        
0004740    0   .   9   6   5       |       c   G   C   C   A   G   t   g
0004760    g   a   a   t   g  \t  \t   |  \t   A   P   -   2  \n       V
0005000    $   A   P   2   _   Q   6   _   0   1                        
0005020                            |                       2   1   2   7
0005040        (   -   )       |           0   .   9   8   6       |    
0005060        0   .   9   7   8       |       g   G   C   C   C   G   t
0005100    g   g   g   g   a   g  \t  \t   |  \t   A   P   -   2  \n    
0005120    V   $   A   P   2   _   Q   6   _   0   1                    
0005140                                |                       2   1   6
0005160    7       (   +   )       |           0   .   8   9   0       |
0005200            0   .   9   0   8       |       c   t   c   a   c   c
0005220    g   G   G   G   G   C   c  \t  \t   |  \t   A   P   -   2  \n
0005240        V   $   A   P   2   _   Q   6   _   0   1                
0005260                                    |                       2   2
0005300    7   8       (   +   )       |           1   .   0   0   0    
0005320    |           0   .   8   8   4       |       c   c   c   g   c
0005340    t   c   C   A   G   G   C   a  \t  \t   |  \t   A   P   -   2
0005360   \n       V   $   A   P   2   _   Q   6   _   0   1            
0005400                                        |                       2
0005420    8   7   7       (   +   )       |           0   .   8   6   3
0005440        |           0   .   8   9   7       |       c   a   c   c
0005460    c   c   a   T   T   G   G   C   a  \t  \t   |  \t   A   P   -
0005500    2  \n       V   $   A   P   2   _   Q   6   _   0   1        
0005520                                            |                    
0005540    2   9   4   4       (   +   )       |           0   .   8   8
0005560    3       |           0   .   9   1   4       |       c   t   c
0005600    c   c   c   g   A   A   G   G   C   a  \t  \t   |  \t   A   P
0005620    -   2  \n       V   $   A   P   2   _   Q   6   _   0   1    
0005640                                                |                
0005660        2   9   9   3       (   -   )       |           0   .   9
0005700    8   0       |           0   .   9   5   1       |       a   G
0005720    C   C   A   G   g   g   g   t   c   c   a  \t  \t   |  \t   A
0005740    P   -   2  \n       V   $   A   P   2   _   Q   6   _   0   1
0005760                                                    |            
0006000            3   2   6   9       (   +   )       |           0   .
0006020    8   9   0       |           0   .   9   1   6       |       c
0006040    a   g   t   c   c   t   G   G   G   G   C   c  \t  \t   |  \t
0006060    A   P   -   2  \n       V   $   A   P   2   _   Q   6   _   0
0006100    1                                                   |        
0006120                3   3   7   7       (   -   )       |           1
0006140    .   0   0   0       |           0   .   9   7   0       |    
0006160    g   G   C   C   T   G   c   g   g   t   g   t   c  \t  \t   |
0006200   \t   A   P   -   2  \n       V   $   A   P   2   _   Q   6   _
0006220    0   1                                                   |    
0006240                    3   3   8   7       (   +   )       |        
0006260    0   .   8   9   0       |           0   .   8   9   7       |
0006300        g   t   c   t   c   c   a   G   G   G   G   C   a  \t  \t
0006320    |  \t   A   P   -   2  \n       V   $   A   P   2   _   Q   6
0006340    _   0   1                                                   |
0006360                        3   6   5   0       (   +   )       |    
0006400        0   .   8   9   0       |           0   .   9   0   4    
0006420    |       g   t   g   c   c   c   a   G   G   G   G   C   a  \t
0006440   \t   |  \t   A   P   -   2  \n       V   $   A   P   2   _   Q
0006460    6   _   0   1                                                
0006500    |                       3   6   5   1       (   -   )       |
0006520            0   .   8   6   9       |           0   .   8   9   8
0006540        |       t   G   C   C   C   A   g   g   g   g   c   a   c
0006560   \t  \t   |  \t   A   P   -   2  \n       V   $   A   P   2   _
0006600    Q   6   _   0   1                                            
0006620        |                       3   7   3   2       (   +   )    
0006640    |           1   .   0   0   0       |           0   .   9   6
0006660    6       |       g   g   a   g   c   c   a   C   A   G   G   C
0006700    a  \t  \t   |  \t   A   P   -   2  \n       V   $   A   P   2
0006720    _   Q   6   _   0   1                                        
0006740            |                       3   7   3   4       (   -   )
0006760        |           0   .   8   8   4       |           0   .   8
0007000    9   4       |       a   G   C   C   A   C   a   g   g   c   a
0007020    a   c  \t  \t   |  \t   A   P   -   2  \n       V   $   A   P
0007040    2   _   Q   6   _   0   1                                    
0007060                |                       3   9   4   7       (   -
0007100    )       |           0   .   8   6   9       |           0   .
0007120    8   8   5       |       c   G   C   C   C   T   c   g   g   g
0007140    g   t   a  \t  \t   |  \t   A   P   -   2  \n       V   $   A
0007160    P   2   _   Q   6   _   0   1                                
0007200                    |                       3   9   9   1       (
0007220    +   )       |           1   .   0   0   0       |           0
0007240    .   8   9   3       |       c   g   g   t   c   a   c   C   A
0007260    G   G   C   c  \t  \t   |  \t   A   P   -   2  \n       V   $
0007300    A   P   2   _   Q   6   _   0   1                            
0007320                        |                       4   2   2   7    
0007340    (   +   )       |           0   .   8   6   3       |        
0007360    0   .   8   7   6       |       a   g   g   c   c   c   c   A
0007400    T   G   G   C   g  \t  \t   |  \t   A   P   -   2  \n       V
0007420    $   A   P   2   _   Q   6   _   0   1                        
0007440                            |                       4   3   8   7
0007460        (   -   )       |           0   .   9   8   0       |    
0007500        0   .   9   5   2       |       t   G   C   C   A   G   t
0007520    g   g   t   c   t   c  \t  \t   |  \t   A   P   -   2  \n    
0007540    V   $   A   P   2   _   Q   6   _   0   1                    
0007560                                |                       4   6   4
0007600    5       (   -   )       |           0   .   9   0   4       |
0007620            0   .   8   8   6       |       a   G   C   C   T   C
0007640    a   g   g   a   a   g   t  \t  \t   |  \t   A   P   -   2  \n
0007660        V   $   A   P   2   _   Q   6   _   0   1                
0007700                                    |                       4   7
0007720    3   0       (   +   )       |           1   .   0   0   0    
0007740    |           0   .   8   8   2       |       g   g   c   c   c
0007760    a   g   C   A   G   G   C   c  \t  \t   |  \t   A   P   -   2
0010000   \n       V   $   A   P   2   _   Q   6   _   0   1            
0010020                                        |                       4
0010040    7   4   8       (   -   )       |           0   .   8   6   9
0010060        |           0   .   8   8   2       |       t   G   C   C
0010100    C   A   a   g   g   t   c   a   c  \t  \t   |  \t   A   P   -
0010120    2  \n       V   $   A   P   2   _   Q   6   _   0   1        
0010140                                            |                    
0010160    4   8   4   9       (   -   )       |           0   .   8   6
0010200    9       |           0   .   9   0   4       |       t   G   C
0010220    C   G   A   c   g   g   a   c   c   g  \t  \t   |  \t   A   P
0010240    -   2  \n       V   $   A   P   2   _   Q   6   _   0   1    
0010260                                                |                
0010300        4   9   7   7       (   -   )       |           1   .   0
0010320    0   0       |           0   .   9   7   7       |       a   G
0010340    C   C   T   G   a   g   g   g   a   c   c  \t  \t   |  \t   A
0010360    P   -   2  \n       V   $   A   P   2   _   Q   6   _   0   1
0010400                                                    |            
0010420            4   9   8   5       (   +   )       |           0   .
0010440    8   9   0       |           0   .   9   0   4       |       g
0010460    g   a   c   c   c   g   G   C   G   G   C   t  \t  \t   |  \t
0010500    A   P   -   2  \n       V   $   A   P   2   _   Q   6   _   0
0010520    1                                                   |        
0010540                5   0   0   4       (   -   )       |           0
0010560    .   9   8   6       |           0   .   8   7   9       |    
0010600    c   G   C   C   C   G   c   t   g   g   a   g   g  \t  \t   |
0010620   \t   A   P   -   2  \n       V   $   A   P   2   _   Q   6   _
0010640    0   1                                                   |    
0010660                    5   0   5   2       (   -   )       |        
0010700    0   .   8   9   0       |           0   .   9   1   5       |
0010720        c   G   C   C   C   C   g   g   g   t   c   g   g  \t  \t
0010740    |  \t   A   P   -   2  \n       V   $   A   P   2   _   Q   6
0010760    _   0   1                                                   |
0011000                        5   2   0   0       (   -   )       |    
0011020        0   .   8   6   9       |           0   .   8   9   8    
0011040    |       t   G   C   C   C   A   a   g   g   a   g   t   g  \t
0011060   \t   |  \t   A   P   -   2  \n       V   $   A   P   2   _   Q
0011100    6   _   0   1                                                
0011120    |                       5   4   0   0       (   -   )       |
0011140            0   .   8   9   0       |           0   .   8   9   1
0011160        |       t   G   C   C   C   C   a   g   g   a   g   c   a
0011200   \t  \t   |  \t   A   P   -   2  \n       V   $   A   P   2   _
0011220    Q   6   _   0   1                                            
0011240        |                       5   7   8   7       (   +   )    
0011260    |           0   .   8   6   9       |           0   .   8   8
0011300    0       |       a   g   g   c   c   c   c   T   G   G   G   C
0011320    t  \t  \t   |  \t   A   P   -   2  \n       V   $   A   P   2
0011340    _   Q   6   _   0   1                                        
0011360            |                       5   7   8   8       (   -   )
0011400        |           0   .   8   9   0       |           0   .   9
0011420    1   9       |       g   G   C   C   C   C   t   g   g   g   c
0011440    t   g  \t  \t   |  \t   A   P   -   2  \n       V   $   A   P
0011460    2   _   Q   6   _   0   1                                    
0011500                |                       5   8   2   6       (   -
0011520    )       |           0   .   9   0   4       |           0   .
0011540    9   1   4       |       a   G   C   C   T   C   a   g   g   t
0011560    g   a   g  \t  \t   |  \t   A   P   -   2  \n       V   $   A
0011600    P   2   A   L   P   H   A   _                                
0011610

on voit bien qu'il y a des \n présents (c'était bien ça le but?)

[djibril]

Bon d'après od, il n'y a donc pas de soucis, on n'a pas de \r \n, mais juste des \n, donc ce n'est pas un problème de retour chariot.

Concernant ton nombre de lignes, en effet, c'est bizarre si ce n'est pas le nombre auquel tu t'attendais.

Essaye la commande linux suivant

Code linux :

Sélectionner tout - Visualiser dans une fenêtre à part

wc -l ../resultats/Match_natif_human_5000up.txt

et qu'obtiens tu ?

Sinon autre test, peux tu faire ceci

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
#!/usr/bin/perl
use warnings;
use strict;
 
my $cpt = 0;
my $file = "../resultats/Match_natif_human_5000up.txt";
open( MATCH, '<', $file) or die ("Impossible d'ouvrir $file\n");
while ( my $line = <MATCH>) {
	print "=====\n$line\n=====\n";
        last if ($. == 10);
}
close(MATCH);

Faudrait aussi nous montrer comment tu génères ce fichier. Çà peut nous donner une piste.

[zaboug]

la commande

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

wc -l ../resultats/Match_natif_human_5000up.txt

donne :

27029 ../resultats/Match_natif_human_5000up.txt

j'en déduis que ça compte le nombre de lignes du fichier, c'est bien ça?

le deuxième test marche et me donne :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
=====
Tag_id 26374, Transcript NM_032344, TSS 63750348, Upstream 5000, Downstream 1000
 
=====
=====
 V$AHR_Q5               |       43 (-) |  1.000 |  0.998 | gctCACGCcag		|	AhR
 
=====
=====
 V$AHR_Q5               |      493 (-) |  1.000 |  0.963 | tggCACGCacc		|	AhR
 
=====
=====
 V$AHRHIF_Q6            |       43 (-) |  1.000 |  0.992 | gctCACGCc		|	AhR
 
=====
=====
 V$AHRHIF_Q6            |      493 (-) |  1.000 |  0.988 | tggCACGCa		|	AhR
 
=====
=====
 V$AHRHIF_Q6            |     2056 (+) |  1.000 |  0.980 | tGCGTGtct		|	AhR
 
=====
=====
 V$AHRHIF_Q6            |     5686 (-) |  1.000 |  0.980 | tgaCACGCa		|	AhR
 
=====
=====
 V$AIRE_02              |      179 (+) |  0.604 |  0.624 | aaAAATTacctgggcatggtggtgg		|	AIRE
 
=====
=====
 V$AIRE_02              |      628 (-) |  0.877 |  0.665 | caaaaaacaaaacaaaacAAAAAac		|	AIRE
 
=====
=====
 V$AIRE_02              |      632 (-) |  0.868 |  0.640 | aaacaaaacaaaacaaaaAACAAat		|	AIRE
 
=====

je vois pas bien le but de ce dernier test par contre...

[djibril]

Bon, je penses que ton problème vient du faite que tu dois avoir des lignes dans ton fichier qui doivent être énorme en taille, et je pense que c'est à cause des séquences nucléiques.
Tu dois avoir des lignes où les séquences nucléiques font plusieurs Méga paires de bases, d'où le problème de mémoire car Perl n'arrive pas à stocker ces lignes en mémoire.

Pour s'en persuader

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

wc --max-line-length ../resultats/Match_natif_human_5000up.txt

résultat ?

[zaboug]

y'a une erreur dans la syntaxe :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
cgmc134:bin mathilde$ wc --max-line-length ../resultats/Match_natif_human_5000up.txt
wc: illegal option -- -
usage: wc [-clmw] [file ...]

mais je viens de me rendre compte d'un truc! le fichier sur lequel j'ai fait les derniers tests n'est pas le bon, il ne fait que 4,33Go !!

il y a un fichier qui porte le même nom que le mien avec un .bak à la fin. Du coup, j'imagine que lors d'un des tests que tu m'as fait faire, mon fichier à été renommé pour être sur de pas le perdre, sauf que j'ai pas fait gaffe. Du coup, j'ai fait les derniers tests sur le mauvais fichier

C'est sans doute pour ça que ça marchait et que j'avais si peu de lignes d'ailleurs !

[djibril]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

wc -L ../resultats/Match_natif_human_5000up.txt

un

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

man wc

te permet de lire la doc.

Pour le .bak, c'est une sauvegarde de ton fichier original, tu peux donc travailler dessus si tu veux. Mais bon, là n'est pas le problème.

lance la commande ci-dessus et tiens nous au courant du résultat.

[zaboug]

j'ai relancé tous les tests sur le fichier initial :

test1

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
#!/usr/bin/perl
 use warnings;
 use strict;
 
 my $file = "../resultats/Match_natif_human_5000up.txt";
 open( MATCH, '<', $file) or die ("Impossible d'ouvrir $file\n");
 while ( my $line = <MATCH>) {
 
 }
 
 close(MATCH);

ça marche.

test2

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
 
#!/usr/bin/perl
 use warnings;
 use strict;
 
 my $cpt = 0;
 my $file = "../resultats/Match_natif_human_5000up.txt";
 open( MATCH, '<', $file) or die ("Impossible d'ouvrir $file\n");
 while ( my $line = <MATCH>) {
 	$cpt++;
 }
 
 close(MATCH);
 print "Nb de lignes : $cpt\n\n";

ne marche pas

test3

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

wc -l ../resultats/Match_natif_human_5000up.txt

tourne depuis un bon moment, dès que j'ai la réponse, je lance le dernier test que tu m'as suggéré et je met les résultats