Keras自定義網絡層(源碼閱讀)

Keras為我們提供了很多已經定義好的網絡,比如Embdding層,LSTM層,GRU等。但是在有些情況下,這些預先定義好的網絡層并不能很好的滿足我們的需求,這個時候我們就需要自定義網絡層。

當然,通過線上,我們可以很方便的查閱到大把資料關于使用keras定義自己的網絡層,很多blog都直入主題,直接告訴我們自定義layer需要涉及到三個方法---------build(),call(),以及compute_output_shape(),處理好這幾個方法,我們便可以實現我們所需要的功能。但是知其然也要知其所以然,因而今天我們通過閱讀keras/engine/base_layer中的Layer類,來更好的理解整個網絡層的運行過程。

pic1

上面我將Layer類中的一些關鍵方法貼出來,為了更加直觀理解,方法的具體內容都刪了,后面具體分析的時候,在進行補充。

首先我們可以看到,在Layer類中有兩個特殊的方法,__init__()和__call__()。

__init__()是構造方法,當我們建立類對象時,首先調用該方法初始化類對象。

__call__()是可調用方法,一旦實現該方法,我們的類對象在某些行為上可以表現的和函數一樣??梢灾苯油ㄟ^類對象object()進行調用。下面舉個例子。

pic2

上面我們定義了一個類,我們可以發現可以直接通過類對象()來調用__call__方法?!? obj()等價于obj.__call__()? 】

這里我們也可以明白為什么平時可以直接使用例如? LSTM(32)(input)這種形式來添加網絡層。其實這種形式本質是

pic3

上面的實例,我們也可以知道,在layer中__call__方法的參數是input,返回值是output。那么__call__方法究竟做了什么?下面貼關鍵源碼(方便理解整個流程,貼完整的不易理解)感興趣的可以對照源碼理解。

pic4

OK!? 觀察上述代碼,我們可以知道在__call__()方法中有幾個關鍵操作,調用build(),調用call(),調用compute_output_shape(),最后再利用node將該層和上一層鏈接起來(如何鏈接可以不用關心)。

emmmmmmm,到這里,其實就是整個網絡層的運行流程了。大家看懂了就可以撤了。

(somebody :"。。。。。。。what Fuck! 你這講的都是啥,我還云里霧里呢!")

好吧,為了不讓網友罵,我接著將build()等幾個方法具體分析。

build():我們知道,當我們定義網絡層的時候,需要用到一些張量(tensor)來對我們的輸入進行操作。比如權重信息Weights,偏差Biases。其實一個網絡本身就可以理解為這些張量的集合。keras是如何在我們給定input以及output_dim的情況下定義這些張量的呢?這里主要就是build()方法的功勞了。build函數就是為該網絡定義一層相應的張量的集合。在Layer類中有兩個成員變量,分別是trainable_weights和non_trainable_weights,分別是指可以訓練的參數的集合和不可訓練的參數的集合。這兩個參數都是list。在build中建立的張量通過add_weight()方法加入到上面兩個張量集合中,進而建立網絡層。需要注意的是,一個網絡層的參數是固定的,我們不能重復添加,因此,build()方法最多只能調用一次。如何保證每個layer的build()最多調用一次???這是通過self._built變量來控制的。如果built變量為True,那么build()方法將不再會被調用,否則build()才能被調用。在調用之后built會被賦值為True,防止以后build()被重復調用。這在__call__()方法中有體現。所以我們如何沒有重新寫__call__()方法,那么我們不用擔心build()方法會被多次調用。但是如果重新寫了__call__()方法,一定要注意在build()調用之后,將built置為True。【TIP:build只接受input一個參數,所以如果需要用到output_shape,可以在__init__()中將output_shape賦值給一個成員變量,這樣就可以在build中直接使用output_shape的值了】。舉個簡單例子,以output=tanh(X*W+B),我們首先定義build()函數。這里用到的參數分別是W和B。假設輸出的大小為output_dim,且已經在__init__()中已經初始化了。

pic5

call(): 該方法是整個網絡層的邏輯輸出。通過build(),我們已經有了網絡層的權重等信息,接下來便是通過input以及這些權重張量(W,B)等來獲得輸出了。如何得到output就要根據大家需要的功能來說了。//////該函數返回值是output,__call__()方法也是通過調用call()來獲得輸出output。

pic6

comput_output_shape():返回輸出的形狀,便于keras搭建下一層網絡時,可以自行推導出輸入的形狀

pic7

好了,以上便大功告成了【第一次寫blog,希望能幫助大家更好理解keras網絡層的整個控制流程】

?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 230,622評論 6 544
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 99,716評論 3 429
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 178,746評論 0 383
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,991評論 1 318
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,706評論 6 413
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 56,036評論 1 329
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 44,029評論 3 450
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 43,203評論 0 290
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 49,725評論 1 336
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 41,451評論 3 361
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,677評論 1 374
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 39,161評論 5 365
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,857評論 3 351
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 35,266評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,606評論 1 295
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,407評論 3 400
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,643評論 2 380

推薦閱讀更多精彩內容