Discussion :

[Isabella83]

Bonjour à tous,
J'ai un problème que je ne parviens pas à résoudre.
J'ai un fichier qui ressemble à ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
AAAACCCGAAACCGTTTAGCTGT
AAAAACCCGAAACCGTTTAGCTGT
AAAACCCGAAACCGTTTAGCTGTT
AAAACCCGAAACCGTTTAGCTGTTC
AAAACCCGAAACCGTTTAGCTGTTT
AAAACCCGAAACCGTTTAGCTGTTCT
AGAAAAACCCGAAACCGTTTAGCTGT
AAAACCCGAAACCGTTTAGCTGTTCTC
AAAACCCGAAACCGTTTAGCTGTTCTCC
AAAACCCGAAACCGTTTAGCTGTTCTCCG
ATAACCCGAAACCGTTTAGCTGTTCTCCG

Tous les séquences sont rangées par taille et par ordre alphabétique dans mon fichier.

Je souhaite supprimer la redondance en supprimant toutes les séquences contenant entièrement une autre séquences (le début doit être identique )par exemple :
Par exemple, pour la première séquence :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

AAAACCCGAAACCGTTTAGCTGT

j'ai toutes ces séquences :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
AAAACCCGAAACCGTTTAGCTGTT
AAAACCCGAAACCGTTTAGCTGTTC
AAAACCCGAAACCGTTTAGCTGTTT
AAAACCCGAAACCGTTTAGCTGTTCT
AAAACCCGAAACCGTTTAGCTGTTCTC
AAAACCCGAAACCGTTTAGCTGTTCTCC
AAAACCCGAAACCGTTTAGCTGTTCTCCG

Mais je ne souhaite garder que

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

AAAACCCGAAACCGTTTAGCTGT

puisque toutes les autres séquences commencent par cette séquence.
A la fin, j'aimerai avoir :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
AAAACCCGAAACCGTTTAGCTGT
AAAAACCCGAAACCGTTTAGCTGT
AGAAAAACCCGAAACCGTTTAGCTGT
ATAACCCGAAACCGTTTAGCTGTTCTCCG

J'ai donc écris ce script perl :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
my ($file_file,$out_file);
my (%hash,%dico);
my (@results,@sort_all_seq,@tmp);
 
GetOptions("file=s" => \$file_file); 
open(my $file,'<',$file_file) or die "$file_file : $!\n\n";
 
while(<$file>){
        chomp;
        push(@sort_all_seq,$_);
}
print "seq in array : OK !\n";
 
my $i=0;
foreach my $value(@sort_all_seq){
	push(@tmp,$value);
	my @dix = grep  { $sort_all_seq[$_] =~ m/^$value/ } 0..$#sort_all_seq ;
	push(@tmp,$value) if(scalar(@dix)>1);
	my $o = 0;
	foreach my $val (@dix) {
    		splice (@sort_all_seq,$val-$o,1);	
		$o++;
 
	}   	
	$i++;	
}
print "tmp : @tmp\n";

qui me retourne :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
AAAACCCGAAACCGTTTAGCTGT 
AAAACCCGAAACCGTTTAGCTGT 
AGAAAAACCCGAAACCGTTTAGCTGT

Je pense que cela vient du fait que je modifie à chaque fois mon tableau @sort_all_seq.
Auriez vous une idée pour résoudre mon problème ?
Merci d'avance

[Lolo78]

Hmmm, modifier un tableau (ajouter ou retirer des éléments) alors que l'on est en train de le balayer avec une boucle for est une mauvaise idée.

Lis ton tableau et travaille sur une copie du même tableau. Quelque chose comme ceci:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
my @result = @sort_all_seq;
foreach my $value(@sort_all_seq){
     @result = grep { not m/^$value/ } @result ; # note comment cette syntaxe est plus simple
     unshift @result, $value;
}

On pourrait ajouter des optimisations, mais l'essentiel y est.

[Lolo78]

En fait, en y réfléchissant, l'optimisation à laquelle je pensais n'est pas seulement une optimisation, elle est nécessaire au bon fonctionnement de l'algo.

Je te propose ceci:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
 
use strict;
use warnings;
use feature qw /say/;
 
my @sort_all_seq = split /\s+/, 
"AAAACCCGAAACCGTTTAGCTGT
AAAAACCCGAAACCGTTTAGCTGT
AAAACCCGAAACCGTTTAGCTGTT
AAAACCCGAAACCGTTTAGCTGTTC
AAAACCCGAAACCGTTTAGCTGTTT
AAAACCCGAAACCGTTTAGCTGTTCT
AGAAAAACCCGAAACCGTTTAGCTGT
AAAACCCGAAACCGTTTAGCTGTTCTC
AAAACCCGAAACCGTTTAGCTGTTCTCC
AAAACCCGAAACCGTTTAGCTGTTCTCCG
ATAACCCGAAACCGTTTAGCTGTTCTCCG";
 
 
my @result = @sort_all_seq;
my $old_val= "W"; # une valeur quelconque qui ne peut être reconnue dans les chaînes de bases
foreach my $value(@sort_all_seq){
     next if $value =~ $old_val; # l'optimisation nécessaire au bon fonctionnement
     @result = grep { not /^$value/ } @result ; # note comment cette syntaxe est plus simple
     unshift @result, $value; # on a éliminé toutes les chaines ressemblant à $value, il faut remettre $value
     $old_val = $value;
}
print "$_\n" for sort {length ($a) <=> length ($b)} @result;

Ce qui imprime:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
$ perl tableau_genes.pl
 
AAAACCCGAAACCGTTTAGCTGT
AAAAACCCGAAACCGTTTAGCTGT
AGAAAAACCCGAAACCGTTTAGCTGT
ATAACCCGAAACCGTTTAGCTGTTCTCCG

[CosmoKnacki]

@Lolo78, n'y aurait il pas intérêt à trier le tableau auparavant?

Quelque chose comme ça?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
foreach my $val(sort @sort_all_seq) {
    if ($val !~ /^$old_value/) {
        print "$val\n";
        $old_value = $val;
    }
}

[Lolo78]

Oui, tu as raison. J'avais compris que le fichier d'origine était trié, mais il est fait trié par taille de séquence. Pour que la variable $old_val puisse pleinement jouer son rôle, il faudrait tries les données par ordre alphabétique. En revanche, comme le tableau @sort_all_seq n'est modifié à aucun moment, il faut le trier une seule fois, avant d'entrer dans la boucle for, et pas dans la bouclo for. Ce qui donne (pas testé):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
 
use strict;
use warnings;
use feature qw /say/;
 
my @sort_all_seq = sort split /\s+/, 
"AAAACCCGAAACCGTTTAGCTGT
AAAAACCCGAAACCGTTTAGCTGT
AAAACCCGAAACCGTTTAGCTGTT
AAAACCCGAAACCGTTTAGCTGTTC
AAAACCCGAAACCGTTTAGCTGTTT
AAAACCCGAAACCGTTTAGCTGTTCT
AGAAAAACCCGAAACCGTTTAGCTGT
AAAACCCGAAACCGTTTAGCTGTTCTC
AAAACCCGAAACCGTTTAGCTGTTCTCC
AAAACCCGAAACCGTTTAGCTGTTCTCCG
ATAACCCGAAACCGTTTAGCTGTTCTCCG";
 
 
my @result = @sort_all_seq;
my $old_val= "W"; # une valeur quelconque qui ne peut être reconnue dans les chaînes de bases
foreach my $value(@sort_all_seq){
     next if $value =~ $old_val; # l'optimisation nécessaire au bon fonctionnement
     @result = grep { not /^$value/ } @result ; # note comment cette syntaxe est plus simple
     unshift @result, $value; # on a éliminé toutes les chaines ressemblant à $value, il faut remettre $value
     $old_val = $value;
}
print "$_\n" for sort {length ($a) <=> length ($b)} @result;

Mais je pense que ça marchera mieux et sans tri d'aucune sorte si on remplace ces deux lignes:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
    @result = grep { not /^$value/ } @result ; # note comment cette syntaxe est plus simple
     unshift @result, $value;

par :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

     @result = grep { $_ eq $value or not /^$value/ } @result ;

[Isabella83]

Merci.
En fait, je voulais supprimer les éléments de mon tableau au fur et à mesure car j'ai beaucoup de séquences (4millions de séquences uniques) et je voulais limiter le temps de calcul au maximum. J'avais essayé autre chose et le script à tourner 3 jours sans me donner de résultat ...
Je vais essayer avec votre solution et voir ce que ça donne !