TCGA數據下載和整理的三種方法

TCGA數據下載方法:gdc-clientXenagdcRNAtools

TCGA癌癥類型

需要下載的數據

  • 組學信息(樣本)\color{#ea4335}{counts文件}(存儲單個病人表達數據,需整理為表達矩陣) + \color{#ea4335}{json文件}(存儲樣本文件的詳細信息,可以為RNA-seq,miRNA-seq,exon/CNV等等)
  • 臨床信息(患者):\color{#ea4335}{xml文件}(存儲單個病人的臨床信息,需整理為臨床信息表格,包含了患者ID,生存/死亡,分期,性別/種族/年齡,死亡時間等信息。)

1. gdc-client(官方下載工具,優先選擇??)

1.1 網頁選擇數據下載manifest清單文件(作為gdc下載的參數之一)

在Repository勾選自己需要的case和file類型。以CHOL為例:
(這里選擇了一個project中的所有文件,也可以更自由的勾選想要的文件)

選擇count文件,case-Project選擇TCGA-CHOL(這里沒顯示出來)

選擇clinical文件,case-Project選擇TCGA-CHOL

選擇好了分別點擊Manifest下載

下載的兩個manifest文件:

id是將來下載下來的文件夾的名字;filename是每個個文件的名字;md5是一串編碼,可以告訴你下載的數據是否完整;size是文件大小。

將下載的兩個文件放在工作目錄下

1.2 使用gdc-client下載count文件和xml文件

將gdc-client(mac)或gdc-client.exe(windows)放在工作目錄下

library(stringr)
proj="TCGA-CHOL"
if(!dir.exists("clinical"))dir.create("clinical") #新建文件夾存放要下載的clinical數據
if(!dir.exists("expdata"))dir.create("expdata") #新建文件夾存放要下載的count數據
dir() #列出目錄下的文件

#下面兩行命令在terminal完成
./gdc-client download -m gdc_manifest_cl.2020-03-23.txt -d clinical
./gdc-client download -m gdc_manifest_expdata.2020-03-23.txt -d expdata

length(dir("./clinical/"))
length(dir("./expdata/"))

可以看到,下載的文件是按樣本存放的,每個文件單獨有一個文件夾,而我們需要得到的是表格,需要將他們批量讀入R語言并整理。

1.3 整理臨床信息
library(XML)

處理單個文件(示例)

result <- xmlParse("./clinical/142aea0e-7a7b-4ac4-9dbb-0f62e2379599/nationwidechildrens.org_clinical.TCGA-W5-AA2O.xml")
rootnode <- xmlRoot(result) #查看這個xml文件有多少個節點
xmlSize(rootnode)
[1] 2
#print(rootnode[1])  ##查看各段(節點)中的信息,第一段一般都是頭文件信息
#print(rootnode[2])  ##我們需要的患者信息在第二段
xmldataframe <- xmlToDataFrame(rootnode[2]) #把xml文件轉成data.frame
head(t(xmlToDataFrame(rootnode[2])))
View(xmldataframe)
# 生成只有一行的單個患者的信息數據框

批量處理文件,并生成臨床信息表格

xmls = dir("clinical/",pattern = "*.xml$",recursive = T) #列出所有的xml文件
cl = list()
for(i in 1:length(xmls)){
  result <- xmlParse(paste0("clinical/",xmls[[i]]))
  rootnode <- xmlRoot(result)
  cl[[i]] = xmlToDataFrame(rootnode[2])
} #生成包含了所有單個轉換好的文件數據框的列表
clinical <- do.call(rbind,cl) #??把cl列表中的每一個元素(數據框)按行合并
View(clinical)
1.4 整理表達矩陣
1.4.1 探索數據

先任選兩個counts文件讀取,并觀察geneid的順序是否一致。

options(stringsAsFactors = F)
x = read.table("expdata/03aee74e-4e37-4a58-a720-c90e807d2f40/be5bc6a0-9720-47ac-953e-fa8d0c32cd82.htseq.counts.gz",
               row.names = 1,sep = "\t")
x2 = read.table("expdata/10d08172-48d2-49e7-b760-721163492cc1/c1071bcd-5a0c-4e09-a578-fc4b6dbe26ad.htseq.counts.gz",
                row.names = 1,sep = "\t")
identical(rownames(x),rownames(x2))

由此可知,他們的geneid順序是一致的,可以直接cbind,不會導致順序錯亂。

1.4.2 批量讀取所有的counts.gz文件,并按列合并得到count矩陣
count_files = dir("expdata/",pattern = "*.htseq.counts.gz$",recursive = T)

exp = list()
for(i in 1:length(count_files)){
  exp[[i]] <- read.table(paste0("expdata/",count_files[[i]]),row.names = 1,sep = "\t")
}
  
exp <- do.call(cbind,exp)
dim(exp)
# [1] 60488    45
exp[1:4,1:4]
#                      V2 V2.1 V2.2 V2.3
# ENSG00000000003.13 2504  226 4107 9646
# ENSG00000000005.5     0    5    0    1
# ENSG00000000419.11 1272 1146  741 1266
# ENSG00000000457.12  504  602  312 1317

發現問題:這樣產生出來的表達矩陣沒有列名。
解決辦法:找到一個文件名與樣本ID一一對應的文件:cart-json文件。

1.4.3 下載并處理cart-json文件
  • 下載文件
    選擇好需要下載的count文件后點擊加入cart,再點擊cart,選擇metadata即可下載。
  • 尋找對應關系

count矩陣exp的列所對應的樣本名file_name與count_files的順序一致,要將其轉換為樣本id,也就是在json中尋找file_name和sampleID的對應關系

meta <- jsonlite::fromJSON("metadata.cart.2020-03-23.json")
View(meta)
colnames(meta)
ids <- meta$associated_entities; class(ids) #sampleID儲存在meta$associated_entities這一列中。
# ?? meta是個data.frame,而meta$associated_entities是個list,比較神奇
ids[[1]] 
ids[[1]][,1] #提出data.frame的第一列,也就是我們需要的sampleID(單個)

可以看到,meta$associated_entities是個列表,這個列表里包含數據框,數據框的第一列內容就是tcga樣本id。(注意,換了數據需要自己探索存放在哪一列。不一定是完全一樣的,需要確認清楚。)

  • 生成對應關系矩陣
ID = sapply(ids,function(x){x[,1]})
file2id = data.frame(file_name = meta$file_name,
                     ID = ID)
View(file2id) #得到file_name和sampleID的對應矩陣
1.4.4 修改矩陣列名

文件名與TCGA樣本ID的對應關系已經得到,接下來是將其添加到表達矩陣中,成為行名。需要找到讀取文件的順序,一一對應修改。

head(file2id$file_name,2)
# [1] "4696ce44-29bf-41ea-b866-ddb17c376e94.htseq.counts.gz"
# [2] "46fd54e8-5ab7-43f1-bb88-01a163ff121f.htseq.counts.gz"
head(count_files,2)
# [1] "03aee74e-4e37-4a58-a720-c90e807d2f40/be5bc6a0-9720-47ac-953e-fa8d0c32cd82.htseq.counts.gz"
# [2] "0d2c466e-d8b8-4b8f-9909-0be2175fa6a0/39fae157-a126-4635-a212-137065a398f9.htseq.counts.gz"
# 可以看到文件名還是有一些不一樣,count_files的文件名包含了文件夾的名字,需要使用str_split分開,后面的才是和file2id中和TCGA樣本ID對應的file_name
count_files2 = stringr::str_split(count_files,"/",simplify = T)[,2]
table(count_files2 %in% file2id$file_name)

count_files2的順序就是列名的順序,根據它來調整file2id的順序。此處需要再次理解一下match函數

file2id = file2id[match(count_files2,file2id$file_name),]
colnames(exp) = file2id$ID
View(exp)
1.5 表達矩陣過濾和添加分組信息

表達矩陣整理完成,需要過濾一下那些在很多樣本里表達量都為0的基因。過濾標準不唯一。

dim(exp)
#exp = exp[rowSums(exp)>0,] #這個標準太寬松
exp = exp[apply(exp, 1, function(x) sum(x > 1) > 9), ] #至少在10個樣本中有表達(總共36個樣本)
dim(exp)
exp[1:4,1:4]
exp = as.matrix(exp)

添加分組信息
樣本ID第1-12位是相應的患者ID,第14和15位,<10是tumor,>=10是normal。

table(str_sub(colnames(exp),14,15))
Group = ifelse(as.numeric(str_sub(colnames(exp),14,15)) < 10,'tumor','normal')
Group = factor(Group,levels = c("normal","tumor"))
table(Group)
save(exp,clinical,Group,proj,file = paste0(proj,"_gdc.Rdata"))

2 Xena(網頁工具)

網址:https://xenabrowser.net/datapages/

Xena簡化了gdc-client的下載方法,打包了TCGA中的每一個project,允許單個project去下載相應的數據。
下載count數據,臨床信息和survival信息(這里是代碼下載方法,也可以在網頁直接下載)
Xena網站把臨床信息和survival分開了,因此需要單獨下載

if(T){
  download.file(url = "https://gdc.xenahubs.net/download/TCGA-CHOL.htseq_counts.tsv.gz",destfile = "counts.tsv.gz") 
  download.file(url = "https://gdc.xenahubs.net/download/TCGA-CHOL.GDC_phenotype.tsv.gz",destfile = "phenotype.tsv.gz")
  download.file(url = "https://gdc.xenahubs.net/download/TCGA-CHOL.survival.tsv.gz",destfile = "survival.tsv.gz")
}
# 這里下載的是CHOL的數據,需要下載別的數據的時候,只需要把CHOL換成別的癌癥的縮寫即可。
# download.file需要2個參數,url設置下載的地址,destfile設置下載下來文件要叫什么名字。

需要注意的是,這里下載的count數據是經過了log轉化的,因此在分析前需要先進行逆轉log操作。

dat = read.table("counts.tsv.gz",check.names = F,row.names = 1,header = T) #壓縮格式可以直接讀取
#逆轉log
dat = as.matrix(2^dat - 1)
dat[1:4,1:4]
as.character(dat[1:100,1:10]) #逆轉之后矩陣中會出現一些小數,有小數在進行Deseq2運算的時候會報錯

# 用apply轉換為整數矩陣
exp = apply(dat, 2, as.integer)
exp[1:4,1:4] #行名消失
rownames(exp) = rownames(dat)

clinical = read.table("phenotype.tsv.gz",fill = T,header = T,sep = "\t")
surv = read.table("survival.tsv.gz",header = T)
clinical[1:4,1:4]
surv[1:4,1:4]

3 gdcRNAtools(R包,為GDC數據定制)

一站式分析完整教程:http://bioconductor.org/packages/devel/bioc/vignettes/GDCRNATools/inst/doc/GDCRNATools.html


代碼來自2021生信技能樹數據挖掘課

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
禁止轉載,如需轉載請通過簡信或評論聯系作者。

推薦閱讀更多精彩內容