2020-05-29 學習R語言批量爬取NCBI基因注釋數據

python爬蟲的教程那么多,有些雜亂,學習了2周好多基礎知識還不清楚,但是我學習的目的還是為了用起來,很多學習也是沒有必要的,那就學點實用的吧。

本來在學習利用selenium模塊爬取pubmed數據,奈何解析網頁這步有點卡住了,我得去補習點CSS selectorXpath表達式等,無法復現下面2位作者的代碼(主要是請求超時問題沒法解決,python代碼不太熟悉,對函數定義這塊感覺比R要復雜)

那就來學習一下R語言爬蟲吧:
image.png

其實學習了python爬蟲的基礎之后用R語言來進行數據爬取也是很便利的。

參考學習資料:R語言批量爬取NCBI基因注釋數據

使用R語言批量爬取NCBI基因注釋信息,主要用到了XML包的getNodeSet函數。需要使用者有一定html+css基礎,以及理解并能使用XML路徑語言(xpath)。

使用R爬取NCBI人類基因信息流程如下:

首先準備目標基因文件,我們以下面這幾個基因(gene symbol的形式)為例進行爬取其在NCBI(gene)中的信息,基因列表"FOXC1" "BMP6" "GNMT" "SRF" "VEGFA" "MUT" "TFAP2B" "BMP5" "ANKRD6" "AMD1" "GJA1" "DLL1",可以自行編輯:

image.png

然后再讀入R:

讀入數據

library(RCurl)
library(stringr)
library(XML)
library(clusterProfiler)

rm(list=ls())
# 讀入基因列表:
genes <- read.table("test_genes",header = T,stringsAsFactors = F)

image.png

從下圖可以發現NCBI對于基因頁面的索引方式都是 https://www.ncbi.nlm.nih.gov/gene/Entrze ID 的方式。
image.png

ID轉換

所以我們需要將gene symbos轉為entrze ID,這里使用clusterProfiler包的bitr函數進行轉換:

# 將gene symbol轉為entrze ID:
genes <- bitr(genes$SYMBOL, fromType="SYMBOL", toType="ENTREZID", OrgDb="org.Hs.eg.db")
image.png

獲取索引鏈接

然后獲得每個基因在NCBI中的索引鏈接:

# 網址數據框:
genes$NCBI_url <- paste("https://www.ncbi.nlm.nih.gov/gene/",genes$ENTREZID,sep="")
head(genes)
image.png

使用XML包的getNodeSet()函數需要兩個參數,一個是根據URL獲得的網頁XML document對象,另一個是要定位的節點(xpath格式)。

我們可以在不了解語法的情況下獲得要定位節點的xpath。只需要在chrome瀏覽器里打開NCBI的gene信息頁面,我們以基因VEGFA為例,打開chrome瀏覽器自帶的開發者工具(F12,或者右鍵inspect):

image.png

示例

比如說我們要爬取基因的Official Full name信息,我們只需要在調出來的開發者工具欄右上角點幾下那個小箭頭,然后在點下Official Full name然后在右上方的源代碼顯示Official Full name的位置點擊右鍵,選擇Copy,Copy XPath
會得到如下字段:

# Official Symbol: //*[@id="summaryDl"]/dd[1]
# Official Full name的xpath://*[@id="summaryDl"]/dd[2]

使用同樣的方法,我們可以獲得基因的HGNC ID,Gene type和Summary等任何部分的xpath。

# HGNC ID的xpath://*[@id="summaryDl"]/dd[3]/a
# Gene type的xpath://*[@id="summaryDl"]/dd[5]/text()
# Summary的xpath://*[@id="summaryDl"]/dd[10]/text()

到這里準備工作就結束了,接下來構建并調用函數來爬取每個基因這4個字段的信息:

構建并調用函數來爬取相應字段信息

# 根據xpath獲取節點內容:
getNodesTxt <- function(html_txt1,xpath_p){
  els1 = getNodeSet(html_txt1, xpath_p)
  # 獲得Node的內容,并且去除空字符:
  els1_txt <- sapply(els1,xmlValue)[!(sapply(els1,xmlValue)=="")]
  # 去除\n:
  str_replace_all(els1_txt,"(\\n )+","")
}

# 處理節點格式,為character且長度為0的賦值為NA:
dealNodeTxt <- function(NodeTxt){
  ifelse(is.character(NodeTxt)==T && length(NodeTxt)!=0 , NodeTxt , NA)
}

使用一個for循環獲得每個基因的信息并存儲到數據框:

for(i in 1:nrow(genes)){
  # 獲得網址:
  doc <- getURL(genes[i,"NCBI_url"])
  cat("成功獲得網頁!\t")
  # 獲得網頁內容
  html_txt1 = htmlParse(doc, asText = TRUE)
  
  # 獲得Full Name:
  genes[i,"FullName"] <- dealNodeTxt(getNodesTxt(html_txt1,'//*[@id="summaryDl"]/dd[2]/text()'))
  cat("寫入基因\t")
  # 獲得HGNC ID:
  genes[i,"HGNC_ID"] <- str_replace_all(dealNodeTxt(getNodesTxt(html_txt1,'//*[@id="summaryDl"]/dd[3]/a')),"HGNC|:","")
  cat("寫入HGNC_ID\t")
  # 獲得Gene type:
  genes[i,"GeneType"] <- dealNodeTxt(getNodesTxt(html_txt1,'//*[@id="summaryDl"]/dd[5]/text()'))
  cat("寫入GeneType\t")
  # 獲得summary:
  genes[i,"Summary"] <- ifelse(length(getNodesTxt(html_txt1,'//*[@id="summaryDl"]/dd[10]/text()'))!=0,getNodesTxt(html_txt1,'//*[@id="summaryDl"]/dd[10]/text()'),NA)
  cat("寫入Summary\n")
  
  print(paste("完成第",i,"個了!"))

}

image.png

運行需要一些時間。
有一個問題是,有可能爬取數據過多,導致服務器超載,可能你的IP地址會被封停。
更多學習資料:
爬蟲最怕遇到JavaScript依賴性的動態網頁:
https://mp.weixin.qq.com/s/HgjtRcSOlGhORhuq3q6t2w
在R里面配置selenium爬蟲環境:
https://mp.weixin.qq.com/s/KGiw3MI4qE52e-i8Y4mrpg
selenium爬蟲操作網頁(實戰篇):
https://mp.weixin.qq.com/s/0biX2p6EAQNLiSJoPIZgbw

?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。