Elimination de séquences redondantes plus petites

Version imprimable

Bonjour à tous,

J'ai un fichier de type

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
Cluster0 CAGCCGCGTTATA 2
Cluster1 aacaggcacagtcagtgctacAGTTCTTACAGCCGCGTTATa 75
Cluster2 CAGGCACAGTCAGTGCTACAGTTCTTACAGCCGCGTTAGCTA 1
Cluster3 CAACAGGCACAGTCAGTGCTACAGTTCTTACAGCCGCTTATA 1
Cluster4 GCCGCGTTATA 1
Cluster5 TATA 1
Cluster6 TCAGTGCTACAGTTCTTACAGCCGCGTTAGTA 1
Cluster7 CAGTCAAGTGCGTACCAGTTCTTACGCCGCGTTATA 1
Cluster8 GTCTTACAGCGCGTTATA 1
Cluster9 CGCCGCGTTATA 1
Cluster10 ACAGGCACAGTCAGTGCTACAGTTCTTACAGCCGCGTTTATA 1
Cluster11 CTACAGTTCTTACGCGCGTTATA 1
Cluster12 TTA 1
Cluster13 TCAGTGCTACAGTTCTTACAGCGCGTTAGTA 1
Cluster14 CAGGCACAGTTCAGTGCTACAGTTCTTACAGCCGGCGTTATA 1
Cluster15 TTCTTACAGCGCGTTATA 1
Cluster16 GTTCTTACAGCCGCGTTATA 1
Cluster17 CAACAGCACAGTCAGTGCTACAGTCCTTACAGCCGCGTTATA 1

Mon problème est le suivant :
je souhaite pouvoir conserver les séquences différentes au niveau des lettres sans tenir compte de la longueur ni de la casse,
je souhaite aussi conserver le chiffre associé aux séquences.

Dans cet exemple, les seq 0 et 16 peuvent être éliminées, car elles matchent avec la 1; la 17, par contre, est différente de la 1, et est donc à garder.

Idéalement le fichier voulu ressemblerait à ça :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
Cluster1 aacaggcacagtcagtgctacAGTTCTTACAGCCGCGTTATa 75
Cluster2 CAGGCACAGTCAGTGCTACAGTTCTTACAGCCGCGTTAGCTA 1
Cluster3 CAACAGGCACAGTCAGTGCTACAGTTCTTACAGCCGCTTATA 1
Cluster6 TCAGTGCTACAGTTCTTACAGCCGCGTTAGTA 1
Cluster7 CAGTCAAGTGCGTACCAGTTCTTACGCCGCGTTATA 1
Cluster8 GTCTTACAGCGCGTTATA 1
Cluster9 CGCCGCGTTATA 1
Cluster10 ACAGGCACAGTCAGTGCTACAGTTCTTACAGCCGCGTTTATA 1
Cluster11 CTACAGTTCTTACGCGCGTTATA 1
Cluster12 TTA 1
Cluster13 TCAGTGCTACAGTTCTTACAGCGCGTTAGTA 1
Cluster14 CAGGCACAGTTCAGTGCTACAGTTCTTACAGCCGGCGTTATA 1
Cluster15 TTCTTACAGCGCGTTATA 1
Cluster17 CAACAGCACAGTCAGTGCTACAGTCCTTACAGCCGCGTTATA 1

et le fichier serait ensuite amélioré en définissant une longueur et en mettant des tirets pour les aligner.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
Cluster1 ----------------aacaggcacagtcagtgctacAGTTCTTACAGCCGCGTTATa 75
Cluster2 CAGGCACAGTCAGTGCTACAGTTCTTACAGCCGCGTTAGCTA 1
Cluster3 CAACAGGCACAGTCAGTGCTACAGTTCTTACAGCCGCTTATA 1
Cluster6 ---------------------TCAGTGCTACAGTTCTTACAGCCGCGTTAGTA 1
Cluster7 -------------CAGTCAAGTGCGTACCAGTTCTTACGCCGCGTTATA 1
Cluster8 --------------------------------------------------GTCTTACAGCGCGTTATA 1
Cluster9 --------------------------------------------------------------CGCCGCGTTATA 1
Cluster10 ACAGGCACAGTCAGTGCTACAGTTCTTACAGCCGCGTTTATA 1
Cluster11 ---------------------------------------CTACAGTTCTTACGCGCGTTATA 1
Cluster12 -------------------------------------------------------------------------------TTA 1
Cluster13 -----------------------TCAGTGCTACAGTTCTTACAGCGCGTTAGTA 1
Cluster14 -CAGGCACAGTTCAGTGCTACAGTTCTTACAGCCGGCGTTATA 1
Cluster15 --------------------------------------------------TTCTTACAGCGCGTTATA 1
Cluster17 CAACAGCACAGTCAGTGCTACAGTCCTTACAGCCGCGTTATA 1

Je ne sais pas trop comment procéder pour automatiser le process. J'ai commencé par faire des alignements (avec bwa) pour me lancer dans un script qui éliminerait les différences de taille pour le même alignement, mais c'est assez lourd.
On m'a dit que le langage awk pourrait me faciliter la tache

Qu'en pensez vous ? Je ne connais pas awk, pourrais je avoir quelques pistes ?

Merci pour votre aide!

23/09/2016, 15h29
Invité

Bonjour,

avant de parler langage, il faut parler algorithme : comment ferais-tu "à la main" ?
23/09/2016, 15h35
vinserm

Je prendrais chaque motif un à un et ferais une boucle pour les comparer aux autres séquences de façon à pouvoir detecter et éliminer les redondances.
Mais ca n'est pas forcement la démarche la plus pertinente
23/09/2016, 16h00
Invité

ça ne te semble pas léger comme algorithme ?

Bonjour :coucou:

Pour l'alignement, un simple printf suffit. Avec ou sans awk.

Code:

1
2
3
4
5
6
7
8
9
$ cat atgc.txt
atgf
toto
maman
marché
superhéros
tztz
tata
ami

Code:

1
2
3
4
5
6
7
8
9
$ awk '{printf("%40s\n",$0);}' atgc.txt
                                    atgf
                                    toto
                                   maman
                                  marché
                              superhéros
                                    tztz
                                    tata
                                     ami

Combien as-tu de lignes au maximum ?

23/09/2016, 16h43
vinserm

un maximum de 50 lignes
24/09/2016, 16h58
Flodelarab

Pourquoi Cluster12 n'élimine pas la majorité des lignes ?
24/09/2016, 20h01
Invité

parce que c'est cette ligne qui doit être éliminée ! (je me suis fait avoir aussi ;))

mais est-ce à moi de répondre ?!

Ahhhhh mais c'est même moins casse-bonbons en fait.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
$ awk '{nbl++;entete[NR]=$1;code[NR]=tolower($2);nbfin[NR]=$3;} END{for (c in code) for (a in code) if (c!=a) if (code[a] ~ code[c]) print c,a,code[c],code[a];}' fichier
1 2 cagccgcgttata aacaggcacagtcagtgctacagttcttacagccgcgttata
1 17 cagccgcgttata gttcttacagccgcgttata
1 18 cagccgcgttata caacagcacagtcagtgctacagtccttacagccgcgttata
5 1 gccgcgttata cagccgcgttata
5 2 gccgcgttata aacaggcacagtcagtgctacagttcttacagccgcgttata
5 8 gccgcgttata cagtcaagtgcgtaccagttcttacgccgcgttata
5 10 gccgcgttata cgccgcgttata
5 17 gccgcgttata gttcttacagccgcgttata
5 18 gccgcgttata caacagcacagtcagtgctacagtccttacagccgcgttata
6 1 tata cagccgcgttata
6 2 tata aacaggcacagtcagtgctacagttcttacagccgcgttata
6 4 tata caacaggcacagtcagtgctacagttcttacagccgcttata
6 5 tata gccgcgttata
6 8 tata cagtcaagtgcgtaccagttcttacgccgcgttata
6 9 tata gtcttacagcgcgttata
6 10 tata cgccgcgttata
6 11 tata acaggcacagtcagtgctacagttcttacagccgcgtttata
6 12 tata ctacagttcttacgcgcgttata
6 15 tata caggcacagttcagtgctacagttcttacagccggcgttata
6 16 tata ttcttacagcgcgttata
6 17 tata gttcttacagccgcgttata
6 18 tata caacagcacagtcagtgctacagtccttacagccgcgttata
10 8 cgccgcgttata cagtcaagtgcgtaccagttcttacgccgcgttata
13 1 tta cagccgcgttata
13 2 tta aacaggcacagtcagtgctacagttcttacagccgcgttata
13 3 tta caggcacagtcagtgctacagttcttacagccgcgttagcta
13 4 tta caacaggcacagtcagtgctacagttcttacagccgcttata
13 5 tta gccgcgttata
13 7 tta tcagtgctacagttcttacagccgcgttagta
13 8 tta cagtcaagtgcgtaccagttcttacgccgcgttata
13 9 tta gtcttacagcgcgttata
13 10 tta cgccgcgttata
13 11 tta acaggcacagtcagtgctacagttcttacagccgcgtttata
13 12 tta ctacagttcttacgcgcgttata
13 14 tta tcagtgctacagttcttacagcgcgttagta
13 15 tta caggcacagttcagtgctacagttcttacagccggcgttata
13 16 tta ttcttacagcgcgttata
13 17 tta gttcttacagccgcgttata
13 18 tta caacagcacagtcagtgctacagtccttacagccgcgttata
17 2 gttcttacagccgcgttata aacaggcacagtcagtgctacagttcttacagccgcgttata

Comment lire ce résultat ?
Exemple de la première ligne:
1 devrait être supprimé car 1 est compris dans 2.

Conclusion:
Dans l'exemple donné, il faut supprimer 1 5 6 10 13 et 17

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
$ awk '{nbl++;entete[NR]=$1;code[NR]=tolower($2);nbfin[NR]=$3;} END{for (c in code) for (a in code) if (c!=a) if (code[a] ~ code[c]) print c,a,code[c],code[a];}' atgc.txt | awk '(FNR==NR){d[$1]++;next;} (d[FNR]>0){next;} 1' - atgc.txt
Cluster1 aacaggcacagtcagtgctacAGTTCTTACAGCCGCGTTATa 75
Cluster2 CAGGCACAGTCAGTGCTACAGTTCTTACAGCCGCGTTAGCTA 1
Cluster3 CAACAGGCACAGTCAGTGCTACAGTTCTTACAGCCGCTTATA 1
Cluster6 TCAGTGCTACAGTTCTTACAGCCGCGTTAGTA 1
Cluster7 CAGTCAAGTGCGTACCAGTTCTTACGCCGCGTTATA 1
Cluster8 GTCTTACAGCGCGTTATA 1
Cluster10 ACAGGCACAGTCAGTGCTACAGTTCTTACAGCCGCGTTTATA 1
Cluster11 CTACAGTTCTTACGCGCGTTATA 1
Cluster13 TCAGTGCTACAGTTCTTACAGCGCGTTAGTA 1
Cluster14 CAGGCACAGTTCAGTGCTACAGTTCTTACAGCCGGCGTTATA 1
Cluster15 TTCTTACAGCGCGTTATA 1
Cluster17 CAACAGCACAGTCAGTGCTACAGTCCTTACAGCCGCGTTATA 1

26/09/2016, 11h23
vinserm

Merci Flodelarab! ca correspond à ce que je voulais!
Sympa le awk, j'avais prévu de m'y mettre mais c'est avec encore plus d'entrain que je vais apprendre ce language :D