Diminuer le temps d'execution d'un script perl

**Isabella83** · 23/02/2012, 10h16

Bonjour à tous,

J'ai écris un script perl, qui prend en entrée un fichier de cette forme :

ATGCGTAGC 12
GTCTAGCATGA 1
ATGCGTAGC 15
TGATGGGTAC 12

et qui me donne en fichier de sortie :

>dme_pi_1_9_27
ATGCGTAGC
>dme_pi_2_11_1
GTCTAGCATGA
>dme_pi_3_10_12
TGATGGGTAC

soit :
>dme_pi_nombrequelconque_nombredelettre_somme2écolonne

Voici le script :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
#!/usr/bin/perl
use strict;
use warnings;
use Carp qw(confess);
use Getopt::Long;
use List::Util qw(sum);
 
# supprime les pi en double,et leur assigne un identifiant unique 
# format de sortie : .fasta
# command line : perl create_bank_pi.pl --file banque_embryon_02h.txt > .fasta
 
my $AF_class;
my %hash;
my $i=0;
 
GetOptions("file=s" => \$AF_class);
open(my $fh,'<',$AF_class) or die "$AF_class : $!\n\n";
while (<$fh>){
	if (/^[ATGC]/){
		chomp;
		my ($seq,$count) = split /\s+/,$_;
		my $length = length($seq);
		#$hash{$seq}++;
		push(@{$hash{$seq}->{'count'}},$count);
	}
 
 
}
 
foreach my $ID (keys(%hash)) {
	#print ("ID=$ID\tcount=\t".join("\t", @{$hash{$ID}->{'count'}})."\n");
	my $length = length($ID);
	my $somme = sum(@{$hash{$ID}->{'count'}});
	print ">dme_pi_".$i."_".$length."_".$somme."\n".$ID."\n";
	$i++;
 
 
}
 
close($fh);

Seulement, il est très très long à me donner une sortie, je voudrais donc savoir comment "otpimiser mon script , de façon à ce que quand je lui fourni un fichier d'entrée avec beaucoup de ligne, il ne soit pas aussi long à me retourner un résultat ...
Merci d'avance.

**Philou67430** · 23/02/2012, 14h46

Je ne comprends pas, chez moi, le résultat est instantané sur l'exemple donné.

**Isabella83** · 23/02/2012, 14h51

oui et c'est bien cela mon problème,
Sur l'exemple donné, mon script tourne très bien, mais sur mon fichier de 3 millions de lignes, cela fait 3h que mon script tourne et pas de réponse .... donc je me suis dit que j'avais fait des "étapes" qui prennent du temps ....

**Dimitry.e** · 23/02/2012, 15h04

C'est bien souvent les expressions régulières qui sont responsables.
Tu devrais essayer en utilisant des tests basiques : tu prends la première lettre de la ligne et tu la compares avec les autres lettres.
Du genre :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
my $c = substr $lines, 0, 1;
if ( $c eq 'A' OR $c eq 'T' OR $c eq 'G' ) {
}

**Isabella83** · 23/02/2012, 15h09

j'ai mit cela car en fait j'ai concaténé des fichiers et j'ai dans le fichier :

#blablabla
#blablabla

**Philou67430** · 23/02/2012, 15h22

Je doute fort que ce soit l'expression régulière "triviale" qui prenne du temps.
Pourrais-tu mettre un say (ou un print/warn) après la fin de la lecture du fichier (le while), juste avant le traitement du tableau.
Je pense que ton pb vient :
- soit des calculs de sommes
- soit de la gestion de la mémoire (trop de demande en RAM).

Les lignes de ton énorme fichier d'entrée sont-elles toutes aussi courtes que celles données en exemple ?
Pour nous permettre de profiler, pourrais-tu fournir un exemple de fichier très gros ?

**Isabella83** · 23/02/2012, 16h06

Envoyé par Philou67430

Pourrais-tu mettre un say (ou un print/warn) après la fin de la lecture du fichier (le while), juste avant le traitement du tableau.

Je ne suis pas sure d'avoir bien compris :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
#!/usr/bin/perl
use strict;
use warnings;
use Carp qw(confess);
use Getopt::Long;
use List::Util qw(sum);
 
# supprime les pi en double,et leur assigne un identifiant unique 
# format de sortie : .fasta
# command line : perl create_bank_pi.pl --file banque_embryon_02h.txt > .fasta
 
my $AF_class;
my %hash;
my $i=0;
 
GetOptions("file=s" => \$AF_class);
open(my $fh,'<',$AF_class) or die "$AF_class : $!\n\n";
while (<$fh>){
	if (/^[ATGC]/){
		chomp;
		my ($seq,$count) = split /\s+/,$_;
		my $length = length($seq);
		#$hash{$seq}++;
		push(@{$hash{$seq}->{'count'}},$count);
	}
 
 
 
}
 
print "Bonjour\n";
 
foreach my $ID (keys(%hash)) {
	print ("ID=$ID\tcount=\t".join("\t", @{$hash{$ID}->{'count'}})."\n");
	my $length = length($ID);
	my $somme = sum(@{$hash{$ID}->{'count'}});
	print ">dme_pi_".$i."_".$length."_".$somme."\n".$ID."\n";
	$i++;
 
 
}
 
close($fh);

Envoyé par Philou67430

Les lignes de ton énorme fichier d'entrée sont-elles toutes aussi courtes que celles données en exemple ?

Les lignes de mon fichiers peuvent aller jusqu’à 50 lettres

Envoyé par Philou67430

Pour nous permettre de profiler, pourrais-tu fournir un exemple de fichier très gros ?

Je n'arrive pas à mettre de pièce jointe, j'ai le message d'erreur "Votre envoi ne peut pas être exécuté car la marque de sécurité est manquante." J'ai deposé un fichier à l'adresse suivante : http://filez.univmed.fr/download.php?ad=78697VwOPw

**Philou67430** · 23/02/2012, 17h34

Envoyé par Isabella83

Je ne suis pas sure d'avoir bien compris

Tu as bien compris. Et quel est le résultat ? Le bonjour apparait vite ou lentement ? (permet d'identifier si la lenteur vient de la première partie du script, ou de la deuxième).

**Isabella83** · 24/02/2012, 09h06

Non, il est long à s'afficher ... le "problème" vient donc de la première partie ....

**Philou67430** · 24/02/2012, 10h13

Il peut aussi venir des deux

Mais ça donne déjà une indication de où regarder en premier.

**Isabella83** · 24/02/2012, 10h15

Oui c'est sure, mais comment puis je faire en sorte que la boucle while soit moins longue en terme d’exécution ? cela pourrait il venir de la condition if ?

**Philou67430** · 24/02/2012, 10h49

Je vais prendre quelques minutes pour regarder

**Philou67430** · 24/02/2012, 11h08

J'ai utilisé Benchmark, et je mets 24s pour la partie "chargement du fichier", et 3 fois plus pour la partie "écriture fasta".

Dans tous les cas, le traitement n'est pas démesuré en temps. De combien de mémoire dispose ta machine ?

Le script tel que je l'ai modifié:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
#!/usr/bin/perl
use strict;
use warnings;
use Carp qw(confess);
use Getopt::Long;
use List::Util qw(sum);
use Benchmark;
 
# supprime les pi en double,et leur assigne un identifiant unique 
# format de sortie : .fasta
# command line : perl create_bank_pi.pl --in banque_embryon_02h.txt --out fasta.txt
 
my ($AF_class, $AF_out);
my %hash;
my $i=0;
 
GetOptions("in=s" => \$AF_class, "out=s" => \$AF_out);
open(my $fh,'<',$AF_class) or die "$AF_class : $!\n\n";
open(my $fh_out,'>',$AF_out) or die "$AF_out : $!\n\n";
 
sub load() {
  while (<$fh>){
    if (/^[ATGC]/){
      chomp;
      my ($seq,$count) = split /\s+/,$_;
      my $length = length($seq);
      #$hash{$seq}++;
      push(@{$hash{$seq}->{'count'}},$count);
    }
  }
}
 
timethis(1, \&load, "Load bank");
 
sub save() {
  foreach my $ID (keys(%hash)) {
    #print ("ID=$ID\tcount=\t".join("\t", @{$hash{$ID}->{'count'}})."\n");
    my $length = length($ID);
    my $somme = sum(@{$hash{$ID}->{'count'}});
    print { $fh_out } ">dme_pi_".$i."_".$length."_".$somme."\n".$ID."\n";
    $i++;
  }
}
 
timethis(1, \&save, , "Save fasta");
 
close($fh);
close($fh_out);

(pas de modif de l'algorithme de traitement : j'ai juste ajouté un argument pour le fichier de sortie, mis sous forme de fonction les deux parties du traitement et appelé les fonctions de calcul de temps pour le Benchmark).

**Isabella83** · 24/02/2012, 11h11

8 GO de RAM mais je suis sous virtualbox pour linux ... cela vient peut etre de ca ?
Car j'ai laissé tourner 3h et je n'ai eu aucun résultat ...

**Philou67430** · 24/02/2012, 11h14

Combien as-tu attribué de RAM à ta machine virtuelle Linux ?
Avec 8Go sous Windows, ça devrait tourner vite. J'ai fait tourner ton exemple sous Windows XP, 2Gà de RAM, et pleins d'applications qui tournent en parallèle.
Je fais tourner le perl sous Cygwin, version perl 5.14.1.

**Isabella83** · 24/02/2012, 11h26

c'est un informaticien qui l'a fait , je crois qu'il m'a mit 500Mo le max étant 1024 il me semble ...

**Philou67430** · 24/02/2012, 11h46

OK... laisse tomber donc !
D'abord, il n'y a pas de limite hormis la mémoire physique (et une marge pour laisser tourner le système hôte) : tu peux donc modifier la configuration et mettre 2Go (tu dois d'abord éteindre ta machine virtuelle).

Autre solution : faire installer cygwin et travailler directement depuis Windows dans une fenêtre bash de cygwin. Là, tu disposeras de toute la puissance et mémoire de la machine réelle.

Diminuer le temps d'execution d'un script perl

Langage Perl

Discussions similaires

Partager

Partager