最近開始打算學習一下基本轉錄組分析，在此做一下筆記記錄遇到的各種坑。
文章用的是NC的一片人類轉錄組的文https://www.nature.com/articles/ncomms13347。

1、數據準備

在文章中可以輕易找到GEO數據的accession ID GSE81916。然后去NCBI的GEO數據庫下搜索下載該實驗的所有數據。

1.1 使用 fastq-dump命令從sra文件中提取fq文件

sra數據下載完后使用sratoolkit里面的fastq-dump --split-3 SRR* 來將sra轉換為相應的fq文件，命令如下：

$ for file in `ls *.sra`; do (nohup fastq-dump --gzip --split-3 ${file} -O rawdata/ 1>fq_dump.log 2>&1 &) ;done

若SRA文件中只有一個文件，那么--split-3這個參數就會被忽略。如果原文件中有兩個文件，那么它就會把成對的文件按*_1.fastq, *_2.fastq這樣分開，分別是左右兩端測得的序列。如果還有出現了第三個文件，就意味著這個文件本身是未成配對的部分。可能是當初提交的時候因為事先過濾過了一下，所以有一部分數據被刪除了。
fastq-dump --split-files SRR*結果類似fastq-dump --split-3，它僅生成兩個配對的文件_1.fastq和_2.fastq,而忽略了未配對的文件。

1.2 記錄一下下載數據時遇到的坑

在得到所有RUN的id后，用兩種簡單的方式可以下載：NCBI提供的工具sratoolkit里面的prefetch或者aspera connect。這兩種方式都可以在我的另一篇筆記里找到安裝及使用方法。
在這里我選擇使用的是aspera connect, 因為他可以方便的選擇數據下載在哪里。但是在寫批量下載的時候出現了問題，一直下載不了，后來發現是shell腳本里面無法使用自己命名的命令，如alias的這種都不行，坑了個吧鐘頭。最后使用的下載數據的命令如下：

#aspera connect 下載的腳本

#!/bin/bash
# Usage:   asp SRRID download_dir
SRA=$1
DIR=$2
ascp -v -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -k 1 -QTr -l 200m anonftp@ftp-private.ncbi.nlm.nih.gov:/sra/sra-instant/reads/ByRun/sra/SRR/${SRA:0:6}/${SRA}/${SRA}.sra ${DIR}

然后給ascp alias一下方便使用:

echo alias asp="/home/sxuan/scripts/ascp.sh"  > ~/.bashrc
. .bashrc
# 之后便可以直接使用下面命令下載
asp SRR2854733 download_dir

最后下載數據使用下面的命令批量下載數據：
nohup cat SRR_Acc_List.txt| while read id; do asp $id . ; done > download.log 2>&1 &
當時就是把這一行命令寫進腳本里面去執行發現不行，坑了大半天才反應過來。

2、數據質控

從sra文件中提取得到fq數據后，使用fastqc查看數據質量如何，命令如下：

for j in `seq 1 2`; do for i in `seq 56 62`; do (nohup fastqc -t 5 -O qc "SRR35899"${i}"_"${j}".fastq.gz" 1>>qc.log 2>&1 &);done;done

查看結果發現，序列的前幾個堿基很不穩定，如下圖：

Per base sequence content

#!/bin/bash

for i in `seq 56 62`;do
    trimmomatic PE -threads 4 -phred33 ~/RNA/rawdata/SRR35899${i}_1.fastq.gz ~/RNA/rawdata/SRR35899${i}_2.fastq.gz ~/RNA/cleandata/SRR35899${i}_1_paired.fastq.gz ~/RNA/cleandata/SRR35899${i}_1_unpaired.fastq.gz ~/RNA/cleandata/SRR35899${i}_2_paired.fastq.gz ~/RNA/cleandata/SRR35899${i}_2_unpaired.fastq.gz HEADCROP:10 MINLEN:20
done

3、Mapping

3.1 建立Index

數據處理完之后便可以開始進行比對了。但在正式比對之前還需要先對參考基因組建立索引，也可以直接去hisat2官網下載index數據。當然也可以使用hisat2的組件hisat2-build來自己建立索引：

# 先通過注釋文件建立含有剪接位點信息和exon信息的兩個文件
# 其實hisat2-buld在運行的時候也會自己尋找exons和splice_sites，但是先做的目的是為了提高運行效率
extract_exons.py gencode.v26lift37.annotation.sorted.gtf > hg19.exons.gtf &
extract_splice_sites.py gencode.v26lift37.annotation.gtf > hg19.splice_sites.gtf &
# 建立index， 必須選項是基因組所在文件路徑和輸出的前綴
hisat2-build -p 4 --ss hg19.splice_sites.gtf --exon hg19.exons.gtf hg19.fa hg19

3.2 使用hisat2進行比對

建立好索引后便可以開始正式比對了:

#!/bin/bash

for i in `seq 56 62`;do
    hisat2 -x /DataBase/Human/hg19/hg19_index/hg19/genome --threads 8 -1 ~/RNA/cleandata/SRR35899${i}_1.fastq.gz -2 ~/RNA/cleandata/SRR35899${i}_2.fastq.gz -S SRR35899${i}.sam
done

3.3 Reads Count

使用htseq進行reads計數。

#!/bin/bash

for i in `seq 56 58`;do
    htseq-count -f sam -r pos -s no -a 10 -t exon -m union -i gene_id ~/RNA/mapping/SRR35899${i}.sam /DataBase/Human/hg19/encode_anno/gencode.v27lift37.annotation.gtf > SRR35899${i}.count
done

htseq-count運行完每個樣本生成一個基因表達量文件，需要將所有樣本合并起來進行表達差異分析，這里分別使用python以及linux命令進行簡單的合并：

### Linux命令
$ paste *.count | awk 'BEGIN{FS="\t";OFS="\t";print "gene","c1","c2","c3"}{print $1,$2,$4,$6}' >merge.count

### Python, 這里用的pandas 
import pandas as pd
df1 = pd.read_table('SRR3589956.count', header = None)
df2 = pd.read_table('SRR3589957.count', header = None)
df3 = pd.read_table('SRR3589958.count', header = None)
df1[2] = df2[1]
df1[3] = df3[1]
df1.columns = ['gene', 'SRR3589956', 'SRR3589957', 'SRR3589958']
df1.to_csv('merge.xlsx', sep='\t', index=False)