作業原文:sam和bam格式文件的shell小練習 | 生信菜鳥團
原始數據準備
~/biosoft/bowtie2/bowtie2-2.4.1-linux-x86_64/example/reads
../../bowtie2 -x ../index/lambda_virus -1 reads_1.fq -2 reads_2.fq > tmp.sam
grep -v '^@' tmp.sam| head -n 1 | tr "\t" "\n" | cat -n
說明：練習共有20題。因為最后一道題目是要求用samtools工具把1-19重做一遍，所以每題會分別用兩種方法。
Q1
統計共多少條reads(pair-end reads這里算一條)參與了比對參考基因組
grep -v "^@" tmp.sam | cut -f 1 | sort | uniq -c | wc
samtools flagstat tmp.bam
Q2
統計共有多少種比對的類型(即第二列數值有多少種)及其分布。
grep -v '^@' tmp.sam| awk '{print $2}' | sort | uniq -c | sort -r
samtools view tmp.sam | awk '{print $2}' | sort | uniq -c
Q3
篩選出比對失敗的reads，看看序列特征。
grep -v '^@' tmp.sam| awk '$3 == "*" {print $1"\t" $10}' | less -SN
samtools view -f 4 tmp.bam | awk '{print $10}' | less
Q4
比對失敗的reads區分成單端失敗和雙端失敗情況，并且拿到序列ID
grep -v '^@' tmp.sam| awk '$3 == "*" {print $1}' | sort | uniq -c | wc
#看結果好像均為雙端失敗
samtools view -f 4 tmp.bam | awk '$3 == "*" {print $1}' | sort | uniq -c | wc
Q5
篩選出比對質量值大于30的情況（看第5列）
grep -v '^@' tmp.sam| awk '$5 > 30 "*" {print}' | less -SN
samtools view -q 30 tmp.bam | awk '{print $5}' | sort | uniq -c | sort
Q6
篩選出比對成功，但是并不是完全匹配的序列
# 完全匹配
grep -v '^@' tmp.sam| awk 'length($6) < 5 && length($6) != 1{print}' | less -SN
# 不完全匹配
grep -v '^@' tmp.sam| awk 'length($6) > 4{print}' | less -SN
samtools view -h -F 4 tmp.bam | awk '/\t[0-9]+M.*[0-9]+M\t/{print$6}' | wc
Q7
篩選出inset size長度大于1250bp的 pair-end reads
grep -v '^@' tmp.sam| awk '$9 > 1250|| $9 < -1250{print $9}' | wc
samtools view tmp.sam | awk '$9 > 125|| $9 < -125{print $9}' | wc
Q8
統計參考基因組上面各條染色體的成功比對reads數量
#sam的頭文件SQ與正文第三列
grep -v '^@' tmp.sam| awk '$3 != "*" {print $3 }'| sort | uniq -c
# 19574
samtools view -F 4 tmp.bam | cut -f 3 | sort | uniq -c
# 18995 與上面的數目不一致，奇怪！！！
Q9
篩選出原始fq序列里面有N的比對情況
grep -v '^@' tmp.sam| awk '{print $1"\t"$6"\t"$10}' | grep N | wc
# grep -v '^@' tmp.sam| awk '$10 ~ "N"{print}' | wc
samtools view tmp.bam | awk '{print $1"\t"$6"\t"$10}' | grep N | less -SN
Q10
篩選出原始fq序列里面有N，但是比對的時候卻是完全匹配的情況
grep -v '^@' tmp.sam| awk 'length($6) < 5 && length($6) != 1{print $1"\t"$6"\t"$10}' | grep N | wc
samtools view tmp.bam | awk '/\t[0-9]+M\t.*N.*AS/{print $1"\t"$6"\t"$10}' | wc
Q11
sam文件里面的頭文件行數
grep '^@' tmp.sam | wc
samtools view -H tmp.bam | wc
Q12
sam文件里每一行的tags個數一樣嗎
grep -v '^@' tmp.sam | awk '{for(i=12;i<NF;i++)printf("%s ",$i);print $NF}' | awk '{print NF}' | sort | uniq -c
#不一樣
samtools view tmp.bam | cut -f 12- | awk '{print NF}' | sort | uniq -c
Q13
sam文件里每一行的tags個數分別是多少個
grep -v '^@' tmp.sam | awk '{for(i=12;i<NF;i++)printf("%s ",$i);print $NF}' | awk '{print NF}'
samtools view tmp.bam | cut -f 12- | awk '{print NF}'
Q14
sam文件里記錄的參考基因組染色體長度分別是？
grep '^@SQ' tmp.sam |cut -f3|cut -d: -f2
samtools view -H tmp.bam | grep @SQ | cut -f 3 | cut -d : -f 2
Q15
找到比對情況有insertion情況的
grep -v '^@' tmp.sam |awk '$6 ~ "I"{print $6}' | wc
samtools view tmp.bam |awk '$6 ~ "I"{print $6}' | wc
Q16
找到比對情況有deletion情況的
grep -v '^@' tmp.sam |awk '$6 ~ "D"{print $6}' | wc
samtools view tmp.bam |awk '$6 ~ "D"{print $6}' | wc
Q17
取出位于參考基因組某區域的比對記錄，比如 5013到50130 區域
# 5000-10000
grep -v '^@' tmp.sam | awk '$4 > 5000 && $4 < 10000 {print $4}'|wc
#第四列
samtools sort tmp.bam -o tmp.sorted.bam
samtools view tmp.sorted.bam "gi|9626243|ref|NC_001416.1|":5000-10000 | less -SN
Q18
把sam文件按照染色體以及起始坐標排序
grep -v '^@' tmp.sam | awk '$4!=0{print}'|sort -k4,4n |less -SN
samtools view tmp.sorted.bam | cut -f 1,3,4 | less -SN
Q19
找到 102M3D11M 的比對情況，計算其reads片段長度。
grep -v '^@' tmp.sam | awk '$6=="102M3D11M"{print length($10)}'
samtools view tmp.bam | awk '$6=="102M3D11M"{print length($10)}'
