生信人的linux考試-生信技能樹學習筆記

來源:http://www.bio-info-trainee.com/2900.html
解答視頻:https://www.bilibili.com/video/av28813815/?p=17

一、在任意文件夾下面創(chuàng)建形如 1/2/3/4/5/6/7/8/9 格式的文件夾系列。

mkdir test
cd test
mkdir -p 1/2/3/4/5/6/7/8/9

二、在創(chuàng)建好的文件夾下面,比如我的是 /Users/jimmy/tmp/1/2/3/4/5/6/7/8/9 ,里面創(chuàng)建文本文件 me.txt

touch ./1/2/3/4/5/6/7/8/9/me.txt
tree
.
└── 1
    └── 2
        └── 3
            └── 4
                └── 5
                    └── 6
                        └── 7
                            └── 8
                                └── 9
                                    └── me.txt

三、在文本文件 me.txt 里面輸入內(nèi)容:
Go to: http://www.biotrainee.com/
I love bioinfomatics.
And you ?

vim ./1/2/3/4/5/6/7/8/9/me.txt
#按下i鍵,切換為插入模式,輸入以下內(nèi)容:
# Go to: http://www.biotrainee.com/
# I love bioinfomatics.
# And you ?
#上面的語句不用帶“#”喲
#退出命令是,按 ESC 鍵跳到命令模式,然后輸入 :q (不保存)或者 :wq (保存) 退出。
cat ./1/2/3/4/5/6/7/8/9/me.txt
Go to: http://www.biotrainee.com/
I love bioinfomatics.
And you ?

四、刪除上面創(chuàng)建的文件夾 1/2/3/4/5/6/7/8/9 及文本文件 me.txt

rm --help #查看幫助文檔
rm -rf 1

五、在任意文件夾下面創(chuàng)建 folder1~5這5個文件夾,然后每個文件夾下面繼續(xù)創(chuàng)建 folder1~5這5個文件夾,效果如下:

mkdir -p folder{1..5}/folder{1..5}
ls *

六、在第五題創(chuàng)建的每一個文件夾下面都 創(chuàng)建第二題文本文件 me.txt ,內(nèi)容也要一樣。(這個題目難度超綱,講義一個月后再回過頭來做)

echo folder{1..5}/folder{1..5} | xargs -n 1
echo folder{1..5}/folder{1..5} | xargs -n 1 cp me.txt -v
xargs --help

七,再次刪除掉前面幾個步驟建立的文件夾及文件

rm -rf folder*
tree

八、下載 http://www.biotrainee.com/jmzeng/igv/test.bed 文件,后在里面選擇含有 H3K4me3 的那一行是第幾行,該文件總共有幾行。

wget http://www.biotrainee.com/jmzeng/igv/test.bed
ls -lh
#解法1
less -S test.bed
/H3K4me3 #按下回車
#解法2
vim test.bed
:set nu
:/H3K4me3
#解法3
grep -n H3K4me3  test.bed

九、下載 http://www.biotrainee.com/jmzeng/rmDuplicate.zip 文件,并且解壓,查看里面的文件夾結(jié)構(gòu)。

wget http://www.biotrainee.com/jmzeng/rmDuplicate.zip
ls -ll
unzip rmDuplicate.zip
cd rmDuplicate
tree

十、打開第九題解壓的文件,進入 rmDuplicate/samtools/single 文件夾里面,查看后綴為 .sam 的文件,搞清楚 生物信息學里面的SAM/BAM 定義是什么。

cd ./rmDuplicate/samtools/single/
less -S tmp.sam #最佳查看方式
cat tmp.sam
vim tmp.sam

十一、安裝 samtools 軟件

  1. 安裝Miniconda3
mkdir -p ~/biosoft
cd ~/biosoft
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh

2.設置conda鏡像

source ~/.bashrc
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda
conda config --set show_channel_urls yes

3.調(diào)用conda 安裝軟件

conda install -y samtools

如果你對一個軟件不了解的話,那么安裝之前在https://bioconda.github.io/recipes.html,檢索該軟件包是否存在,或者使用 "conda search packagename"進行檢索。

十二、打開 后綴為BAM 的文件,找到產(chǎn)生該文件的命令。 提示一下命令是:

/home/jianmingzeng/biosoft/bowtie/bowtie2-2.2.9/bowtie2-align-s --wrapper basic-0 -p 20 -x /home/jianmingzeng/reference/index/bowtie/hg38 -S /home/jianmingzeng/data/public/allMouse/alignment/WT_rep2_Input.sam -U /tmp/41440.unp

查看前5行

#cd rmDuplicate/samtools/single(路徑)
tree
.
├── readme.txt
├── tmp.header
├── tmp.rmdup.bam
├── tmp.rmdup.vcf.gz
├── tmp.sam
├── tmp.sorted.bam
└── tmp.sorted.vcf.gz
zless -S tmp.rmdup.bam | head -n 5
BAM@@HD VN:1.0  SO:coordinate
@SQ SN:chr1 LN:248956422
@SQ SN:chr10    LN:133797422
@SQ SN:chr11    LN:135086622
@SQ SN:chr11_KI270721v1_random  LN:100316

十三題、根據(jù)上面的命令,找到我使用的參考基因組 /home/jianmingzeng/reference/index/bowtie/hg38具體有多少條染色體。

samtools view -H tmp.rmdup.bam | head -n 20
samtools view -H tmp.rmdup.bam  | awk '{print $2}' | sort |uniq -c| grep -v '_'
     1 ID:bowtie2
      1 SN:chr1
      1 SN:chr10
      1 SN:chr11
      1 SN:chr12
      1 SN:chr13
      1 SN:chr14
      1 SN:chr15
      1 SN:chr16
      1 SN:chr17
      1 SN:chr18
      1 SN:chr19
      1 SN:chr2
      1 SN:chr20
      1 SN:chr21
      1 SN:chr22
      1 SN:chr3
      1 SN:chr4
      1 SN:chr5
      1 SN:chr6
      1 SN:chr7
      1 SN:chr8
      1 SN:chr9
      1 SN:chrM
      1 SN:chrX
      1 SN:chrY
      1 VN:1.0

十四題、上面的后綴為bam 的文件的第二列,只有 0 和 16 兩個數(shù)字,用 cut/sort/uniq等命令統(tǒng)計它們的個數(shù)。
因為數(shù)據(jù)不同,使用的數(shù)據(jù)統(tǒng)計如下:

samtools view tmp.sorted.bam | head
samtools view tmp.sorted.bam | awk '{print $2}' | sort | uniq -c
     29 0
     24 16
# 此外,我統(tǒng)計了 tmp.sam文件,代碼如下:
zless -S tmp.sam | head -n 12
SRR1042600.42157053 0   chr1    629895  42  51M *   0   0   ATAACCAATACTACCAATCANTACTCATCATTAATAATCATAATGGCTATA CCCFFFFFHHHHHJJJJJJJ#4AGHJJIIJJIIIIIJJJJIJIIIIJJIJI AS:i:-6 XN:i:0  XM:i:2  XO:i:0  XG:i:0  NM:i:2  MD:Z:11C8A30    YT:Z:UU
SRR1042600.42212881 0   chr1    629895  42  51M *   0   0   ATAACCAATACTACCAATCANTACTCATCATTAATAATCATAATGGCTATA @@<FDFFBFDHHFJEIIGJI#3AFHGEHEIJIIGIIGGIJIIJIGIIGIIJ AS:i:-6 XN:i:0  XM:i:2  XO:i:0  XG:i:0  NM:i:2  MD:Z:11C8A30    YT:Z:UU
SRR1042600.12010763 16  chr1    629895  24  51M *   0   0   ATAACCAATACTTCTAATCAAAACTCATCATTAATAATCATAATGGCTATA ?4B?1*4DD?11*1*?+22+<3F:3@EC:CC4EA,DEDDDDD?D3B:==+; AS:i:-10XN:i:0  XM:i:4  XO:i:0  XG:i:0  NM:i:4  MD:Z:11C0A1C6T29    YT:Z:UU
SRR1042600.29629551 16  chr1    629895  40  51M *   0   0   ATAACCAATACTACCAATCACTACTCATCATTAATAATCATAATGGCTATA HGF?JJHHFDHHGJJIHDFA+E?JIJJIIHGJJJJJJJHHHHHFFFFFCC@ AS:i:-8 XN:i:0  XM:i:2  XO:i:0  XG:i:0  NM:i:2  MD:Z:11C8A30    YT:Z:UU
SRR1042600.41910745 0   chr1    629896  42  51M *   0   0   TAACCAATACTACCAATCAANACTCATCATTAATAATCATAATGGCTATAG CC@FFFFFHHHHGIIHIJJJ#3<CFHCGGIIIJJJJJJJJIGGFHIIJFII AS:i:-6 XN:i:0  XM:i:2  XO:i:0  XG:i:0  NM:i:2  MD:Z:10C9T30    YT:Z:UU
SRR1042600.14329856 16  chr1    629896  8   18M1I32M    *   0   0   AAACCAAATCCTCCAATCAAATCCTCATCATTAATAATCATAATGGCTATA #############################@IHHGCE9GHFHHHDDDDD<@@ AS:i:-18    XN:i:0  XM:i:5  XO:i:1  XG:i:1  NM:i:6  MD:Z:0T6T0A2A9A28   YT:Z:UU
SRR1042600.15078214 16  chr1    629896  40  51M *   0   0   TAACCAATACTACCAATCAATACCCATCATTAATAATCATAATGGCTATAG 9?1EFDD4CE?1F@?F<HFA<<C+F9HBC<<FEBBC4GD<=+8DDDDA=;1 AS:i:-8 XN:i:0  XM:i:2  XO:i:0  XG:i:0  NM:i:2  MD:Z:10C12T27   YT:Z:UU
SRR1042600.52533601 16  chr1    629896  40  51M *   0   0   TAACCAATACTACCAATCAATCCTCATCATTAATAATCATAATGGCTATAG D?0?*?1*?C?*EGC99>FA+3FBHBEBCA4HCC<:FFFFFF<DB?BD<@@ AS:i:-8 XN:i:0  XM:i:2  XO:i:0  XG:i:0  NM:i:2  MD:Z:10C10A29   YT:Z:UU
SRR1042600.41649846 0   chr1    629897  42  51M *   0   0   AACCAATACTACCAATCAATNCTCATCATTAATAATCATAATGGCTATAGC :?=DB=ABCF?FF>G<<<?F#3<C?CFHE@91?GFFEGEEEDD<?FADBG> AS:i:-6 XN:i:0  XM:i:2  XO:i:0  XG:i:0  NM:i:2  MD:Z:9C10A30    YT:Z:UU
SRR1042600.68213884 16  chr1    629898  40  51M *   0   0   ACCAATACGACCAATCAATACTCAACATCAATAATCATAATGGCTATAGCA #@B?0)1)*19FEC<22<+<+3,33CA,+:>F<B?:@C<4:=,:DADD?<? AS:i:-8 XN:i:0  XM:i:3  XO:i:0  XG:i:0  NM:i:3  MD:Z:8C15T3T22  YT:Z:UU
SRR1042600.41495229 0   chr1    629899  42  51M *   0   0   CCAATACTACCAATCAATACNCATCATTAATAATCATAATGGCTATAGCAA CCCFFFFFHHHHHJJJJJJI#4AFHIJJIJJJJIJJIJJJIJIJIJJJJHG AS:i:-6 XN:i:0  XM:i:2  XO:i:0  XG:i:0  NM:i:2  MD:Z:7C12T30    YT:Z:UU
SRR1042600.14534938 16  chr1    629899  8   51M *   0   0   AATCTCCCCCAATTCAATACTCATCATTAATAATCATAATGGCTATAGCAA ######################GFIICJJGIIIIIGHF>GHGHFFFFF@@C AS:i:-16XN:i:0  XM:i:8  XO:i:0  XG:i:0  NM:i:8  MD:Z:0C0C0A0A1A2A1C1A38 YT:Z:UU

cat tmp.sam | awk '{print $2}' | sort | uniq -c 
     29 0
     24 16

十五題、重新打開 rmDuplicate/samtools/paired 文件夾下面的后綴為BAM 的文件,再次查看第二列,并且統(tǒng)計。

cd /test/rmDuplicate/samtools/paired
ls -ll
samtools view tmp.sorted.bam | cut -f 2|sort |uniq -c
      8 147
      3 163
      1 323
      1 353
      1 371
      1 387
      1 433
      3 83
      2 97
      9 99

十六題、下載 http://www.biotrainee.com/jmzeng/sickle/sickle-results.zip 文件,并且解壓,查看里面的文件夾結(jié)構(gòu), 這個文件有2.3M,注意留心下載時間及下載速度。

wget http://www.biotrainee.com/jmzeng/sickle/sickle-results.zip
unzip sickle-results.zip
cd sickle-results
tree
.
├── command.txt
├── single_tmp_fastqc.html
├── single_tmp_fastqc.zip
├── test1_fastqc.html
├── test1_fastqc.zip
├── test2_fastqc.html
├── test2_fastqc.zip
├── trimmed_output_file1_fastqc.html
├── trimmed_output_file1_fastqc.zip
├── trimmed_output_file2_fastqc.html
└── trimmed_output_file2_fastqc.zip

十七題、解壓 sickle-results/single_tmp_fastqc.zip 文件,并且進入解壓后的文件夾,找到 fastqc_data.txt 文件,并且搜索該文本文件以 >>開頭的有多少行?

unzip single_tmp_fastqc.zip 
cd single_tmp_fastqc/
less -S fastqc_data.txt
cat fastqc_data.txt | awk '/^>>/{print $0}'| wc -l
24

十八題、下載 http://www.biotrainee.com/jmzeng/tmp/hg38.tss 文件,去NCBI找到TP53/BRCA1等自己感興趣的基因?qū)?refseq數(shù)據(jù)庫 ID,然后找到它們的hg38.tss 文件的哪一行。
https://www.ncbi.nlm.nih.gov/gene/7157

cd ~/test
wget http://www.biotrainee.com/jmzeng/tmp/hg38.tss
head hg38.tssp NR_046018 hg38.tss

NR_046018   chr1    9874    13874   0
grep -n NR_046018  hg38.tss

十九題、解析hg38.tss 文件,統(tǒng)計每條染色體的基因個數(shù)。

cat hg38.tss|awk '{print $2}' |sort |uniq -c 
   6050 chr1
   2824 chr10
      2 chr10_GL383545v1_alt
     10 chr10_GL383546v1_alt
      2 chr10_KI270825v1_alt
.....
#去掉后面的碎片基因
cat hg38.tss|awk '{print $2}' | sort | uniq -c | grep -v '_'
   6050 chr1
   2824 chr10
   3449 chr11
   2931 chr12
   1122 chr13
   1883 chr14
   2168 chr15
   2507 chr16
   3309 chr17
    873 chr18
   3817 chr19
   4042 chr2
   1676 chr20
    868 chr21
   1274 chr22
   3277 chr3
   2250 chr4
   2684 chr5
   3029 chr6
   2720 chr7
   2069 chr8
   2301 chr9
      2 chrM
   2553 chrX
    414 chrY

二十題、解析hg38.tss 文件,統(tǒng)計NMNR開頭的熟練,了解NMNR開頭的含義

cat hg38.tss |awk '{print $1}'|cut -c 1-2 |sort| uniq -c
  51064 NM
  15954 NR

生信技能樹公益視頻合輯:學習順序是linux,r,軟件安裝,geo,小技巧,ngs組學!
B站鏈接:https://m.bilibili.com/space/338686099
YouTube鏈接:https://m.youtube.com/channel/UC67sImqK7V8tSWHMG8azIVA/playlists
生信工程師入門最佳指南:https://mp.weixin.qq.com/s/vaX4ttaLIa19MefD86WfUA
生信技能樹(爆款入門培訓課)巡講 https://mp.weixin.qq.com/s?__biz=MzAxMDkxODM1Ng==&mid=2247489185&idx=1&sn=2ad07decde5b709ed03d5c315bca0cb6&chksm=9b48561aac3fdf0c72e67aef29faa8e156a84be4f935b6585fffcaae6f186383decc96813f38&mpshare=1&scene=23&srcid=#rd
生信技能樹 - 簡書 http://www.lxweimin.com/u/d645f768d2d5

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。