Discussion :

[Isabella83]

Bonjour à tous,

J'ai écris un script perl, qui prend en entrée un fichier de cette forme :

ATGCGTAGC 12
GTCTAGCATGA 1
ATGCGTAGC 15
TGATGGGTAC 12

et qui me donne en fichier de sortie :

>dme_pi_1_9_27
ATGCGTAGC
>dme_pi_2_11_1
GTCTAGCATGA
>dme_pi_3_10_12
TGATGGGTAC

soit :
>dme_pi_nombrequelconque_nombredelettre_somme2écolonne

Voici le script :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
#!/usr/bin/perl
use strict;
use warnings;
use Carp qw(confess);
use Getopt::Long;
use List::Util qw(sum);
 
# supprime les pi en double,et leur assigne un identifiant unique 
# format de sortie : .fasta
# command line : perl create_bank_pi.pl --file banque_embryon_02h.txt > .fasta
 
my $AF_class;
my %hash;
my $i=0;
 
GetOptions("file=s" => \$AF_class);
open(my $fh,'<',$AF_class) or die "$AF_class : $!\n\n";
while (<$fh>){
	if (/^[ATGC]/){
		chomp;
		my ($seq,$count) = split /\s+/,$_;
		my $length = length($seq);
		#$hash{$seq}++;
		push(@{$hash{$seq}->{'count'}},$count);
	}
 
 
}
 
foreach my $ID (keys(%hash)) {
	#print ("ID=$ID\tcount=\t".join("\t", @{$hash{$ID}->{'count'}})."\n");
	my $length = length($ID);
	my $somme = sum(@{$hash{$ID}->{'count'}});
	print ">dme_pi_".$i."_".$length."_".$somme."\n".$ID."\n";
	$i++;
 
 
}
 
close($fh);

Seulement, il est très très long à me donner une sortie, je voudrais donc savoir comment "otpimiser mon script , de façon à ce que quand je lui fourni un fichier d'entrée avec beaucoup de ligne, il ne soit pas aussi long à me retourner un résultat ...
Merci d'avance.

[Philou67430]

Je ne comprends pas, chez moi, le résultat est instantané sur l'exemple donné.

[Isabella83]

oui et c'est bien cela mon problème,
Sur l'exemple donné, mon script tourne très bien, mais sur mon fichier de 3 millions de lignes, cela fait 3h que mon script tourne et pas de réponse .... donc je me suis dit que j'avais fait des "étapes" qui prennent du temps ....

[Dimitry.e]

C'est bien souvent les expressions régulières qui sont responsables.
Tu devrais essayer en utilisant des tests basiques : tu prends la première lettre de la ligne et tu la compares avec les autres lettres.
Du genre :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
my $c = substr $lines, 0, 1;
if ( $c eq 'A' OR $c eq 'T' OR $c eq 'G' ) {
}

[Isabella83]

j'ai mit cela car en fait j'ai concaténé des fichiers et j'ai dans le fichier :

#blablabla
#blablabla

[Philou67430]

Je doute fort que ce soit l'expression régulière "triviale" qui prenne du temps.
Pourrais-tu mettre un say (ou un print/warn) après la fin de la lecture du fichier (le while), juste avant le traitement du tableau.
Je pense que ton pb vient :
- soit des calculs de sommes
- soit de la gestion de la mémoire (trop de demande en RAM).

Les lignes de ton énorme fichier d'entrée sont-elles toutes aussi courtes que celles données en exemple ?
Pour nous permettre de profiler, pourrais-tu fournir un exemple de fichier très gros ?