Discussion :

[JP2mars]

Bonjour,

je dois traiter de très gros fichiers de séquences, ~ 2go. Fichiers issus de séquençage.
Je veux compter le nombre de A,T,C,G,N pour chaque cycle, c'est à dire à chaque position, (exemple 36) et cela pour chaque tile (100 tiles en tout). Je prend en compte le fait qu'il puisse y avoir jusqu'à 8 fichiers.


voilà un extrait de mon code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
 
 
my %nbycycle;
 
while(<ENTREE>){
 
		my @ligne = split /\t/, $_;
 
		my @sequence = split //, $ligne[8];
		my $i=1;
 
		foreach my $seq (@sequence){
 
			$nbycycle{$ligne[2]}{$ligne[3]}{$i}{$seq}++; #{fichier}{tile}{cycle}{base}
			$i++;
		}
 
	}

Le résultat est ok mais je voudrais que ce soit plus rapide (~25 min pour l'instant pour un fichier). Donc y aurai t'il un moyen d'améliorer l'algo ou tester avec un autre langage ou autre chose.

Merci.

[djibril]

montre nous quelques lignes de ton fichier.

[JP2mars]

HWI-EAS387 90810 5 1 10 89 0 1 GGGGCCAGGGAGTGAGATCAGGAAGGGGACAGGCAA `````aa_`aa^X`a`\a_XXU_^a`aUGXYJ]aaa chr16.fa 85230887 F 36 117 Y
HWI-EAS387 90810 5 1 10 1835 0 1 TGGGAGGCCCAGGACACATGCCAGAGGAGGGATTAG a__Ra]OO[I_P\GGN_aR^^`^`\\_``^WW\P\[ chr3.fa 128241989 F 3T9C22 81 N
HWI-EAS387 90810 5 1 10 198 0 1 CACTTTCCCCTGTCTTTCAGCTCTGTCCGTGTGCAG a`aXZ`a]baa]`[aba`aaaa^NYXaYFVDNO^^V chr22.fa 16170918 F 36 114

Y

Voilà un exemple, ce qui m'intéresse c'est la 4ème colonne et la 9ème biensur.

[50Nio]

Bonjour,
Globalement, tu gagnera peu ou rien en écrivant dans un autre langage, Perl est compilé puis exécuté en tant que code machine, donc tu pers un peu de temps au lancement du script, pas à l'exécution. Dans ton cas, si c'est pour gagner 1ms...

Sur un fichier de 1,8Giga avec ton code ça me prend 2mn.
Sortir les "my" de la boucle ne change rien (on est toujours à 2mn +/- 2s).

En utilisant des tableaux plutôt que des hash on retombe aussi sur la même vitesse de traitement.

Les idées simples ne donnent rien, c'est ptêt une question à poser au niveau algorithme...

[JP2mars]

Bonjour,
Globalement, tu gagnera peu ou rien en écrivant dans un autre langage, Perl est compilé puis exécuté en tant que code machine, donc tu pers un peu de temps au lancement du script, pas à l'exécution. Dans ton cas, si c'est pour gagner 1ms...

Sur un fichier de 1,8Giga avec ton code ça me prend 2mn.
Sortir les "my" de la boucle ne change rien (on est toujours à 2mn +/- 2s).

En utilisant des tableaux plutôt que des hash on retombe aussi sur la même vitesse de traitement.

Les idées simples ne donnent rien, c'est ptêt une question à poser au niveau algorithme...

2 min ??
Moi il met 20min (au lieu de 25 comme j'ai dit au début, j'ai fait du vide dans le script).
Mais j'ai testé seulement la partie que je vous ai montré et elle me prend ~20min.
Il faut dire que je teste ça sur mon pc de bureau qui a 4 Mo de ram.
En routine il tournera sur un serveur de calcul beaucoup plus costaud.

Merci de vos réponses.

[djibril]

4 Mo de ram.

, ça existe encore ? Tu m'étonnes qu'il mette 20 minutes

[JP2mars]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
HWI-EAS387	90810	5	100	9	883	0	1	AAGCGGTCCATCCTCACTCAGGCTCTAACTTCTTTC	BBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBB	NM											N
HWI-EAS387	90810	5	100	10	428	0	1	AGCCCTCCATCAATATGGGGGAACTACACTTTAGAT	^Xa\Tab_H]O[J^K`QGT^NHM[^\\LY_BBBBBB	NM											N
HWI-EAS387	90810	5	100	10	420	0	1	GGGGAGGCAAGTATCTCTGTATGGAGAGCTGGTCTC	^QZMYHTZ`X\JHO^^^[I]WOHZQYIQ_JYOX``b	NM											N

Voilà un exemple, ce qui m'intéresse c'est la 4ème colonne et la 9ème biensur.

Résultat :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
Tile	Cycle	A	C	G	T	N
1	1	35879	26146	25766	35577	370
1	2	37203	23508	26328	35994	705
...
1	36	35592	25316	23325	37755	1750
2	1	34777	24895	26191	35063	345
...
2	36	35930	24834	24191	34910	1406
...
100  36     .....

Merci


PS: les symbols à la suite de la séquence c'est du code. Chaque signe correspond au score qualité.
Je devrais traiter ça en plus après.

[djibril]

Bon je ne comprends pas ton résultat. Je pensais que tu souhaitais juste compter le nombre d'acides nucléique pour chaque ligne de ton fichier (chaque séquence)!! Or là, si je prends :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
Tile	Cycle	A	C	G	T	N
1	1	35879	26146	25766	35577	370

Qu'est ce que ça veut dire ?

[djibril]

Ton code est résumé à ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
my ( %N, %A, %C, %G, %T );
while ( my $ligne = <ENTREE> ) {
 
  chomp($ligne);
  my ( undef, undef, undef, $TOTO, undef, undef, undef, undef, $sequence ) = split( /\t/, $ligne );
  my $A{$TOTO} = () = $sequence =~ m{A}g;
  my $C{$TOTO} = () = $sequence =~ m{C}g;
  my $G{$TOTO} = () = $sequence =~ m{G}g;
  my $T{$TOTO} = () = $sequence =~ m{T}g;
  my $N{$TOTO} = () = $sequence =~ m{N}g;
}
close(ENTREE);
print "fichier $file ok\n";

Est ce que ça te convient, ai je compris ton souci ?

[JP2mars]

Bon je ne comprends pas ton résultat. Je pensais que tu souhaitais juste compter le nombre d'acides nucléique pour chaque ligne de ton fichier (chaque séquence)!! Or là, si je prends :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
Tile	Cycle	A	C	G	T	N
1	1	35879	26146	25766	35577	370

Qu'est ce que ça veut dire ?

Une piste sur un séquenceur est divisé en 100 cases appelé Tile.
Pour chacune de ces Tiles je dois pour chaque cycle compter le nombre de ACTGN.
La position 1 de la séquence correspond au premier cycle.

En tout j'ai 100*36 ligne pour lesquels j'ai mon nombre de ACTGN.