由于工作需要，今天花了一上午的時間研究了一下KEGG的API，雖然走了不少彎路，但最終還是圓滿完成任務。下面我將復盤整個過程，和大家分享在使用KEGG API中的經歷和體會。
事情的起因是這樣的，我手上有一個KEGG的ID列表，我的任務是找到這些ID所對應的gene以及它們所在的pathway。
我已經很多年沒有用過KEGG了，剛拿到這些ID的時候也是一頭霧水。經過一番搜索（也要感謝小伙伴們的指點），我在KEGG的網站上找到了這些ID以及我想要的gene和pathway信息。
我一開始想抓這個網頁，解析HTML文件，但是發現這些信息是javascript程序動態產生的，此路不通。在這個網頁的右上方有一個【Download htext】的鏈接，下載后得到的是一個后綴名為 .keg 的文本文件，看上去和網頁上的內容一樣。
如果這是個xml或者是json格式的文件，故事就到此為止了，因為有很多現成的工具可以拿來解析它。但是這個文件的格式比較特殊，得自己動手寫程序來提取，比較麻煩。有沒有更簡單一點的方法呢？
身為一名Rapper，不找找Bioconductor的包怎么行呢？果然有一個叫KEGGREST的包可以方便的調用KEGG的API，這樣問題就變得簡單多了。
https://www.bioconductor.org/packages/release/bioc/vignettes/KEGGREST/inst/doc/KEGGREST-vignette.html
但是，我高興的太早了！在使用KEGGREST的過程中，不斷有 Timeout was reached 的錯誤產生，真的讓人抓狂！
于是我再回過頭來研究KEGGREST的原理。它實際上是先通過KEGG API下載一個文本文件，然后再去解析。而我現在就卡在了調用API這一步。
弄清楚原理之后，我調整了自己的策略：首先用外部工具來調用API，將文本文件保存下來，然后用KEGGREST內部的parser來解析這些文件。
具體做法如下：
-
在不借助KEGGREST提供的keggGet函數的情況下，我得先搞清楚KEGG API 的URL格式是怎樣的。
http://www.kegg.jp/kegg/docs/keggapi.html
KEGG_API.png
我需要的operation是get，dbentries就是ID號，所以API的URL就可以寫成：http://rest.kegg.jp/get/K00001 -
然后用curl來調用API，由于我有3000多個ID，所以需要生成一個腳本來批量下載：
bash.png
bash腳本的內容：
curl_list.png
運行該腳本，下載過程很順利。我發現每次下載前總是要停大概15秒左右，也許這就是前面的方法總是Timeout的原因吧。具體原因就不深究了，只要能達到我的目的就行。
curl.png -
接下來要弄清楚KEGGREST包中的哪個函數負責文本解析。通過查看keggGet函數的代碼，我覺得應該是.flatFileParser函數
code2.png -
目標明確后，我們就來下載KEGGREST的源代碼（Package Source）
https://www.bioconductor.org/packages/release/bioc/html/KEGGREST.html
package_source.png
將KEGGREST_1.14.0.tar.gz解壓后，我在它的R目錄下發現了一個parsers.R的文件，我們要找的函數就在里面。 -
最后，我們用下面的代碼來解析下載好的文本文件
code3.png
需要注意的是，這里不要再寫library(KEGGREST)，直接source它的2個文件就可以了。.flatFileParser返回的是一個長度為1的list，list里面又嵌套了一個list。
-
最終的結果如下，任務圓滿完成！
table.png
我的方法不一定是最好的，歡迎廣大Rapper提供更好的方法和大家分享。
