Capsule是深度學習之父hinton在2017年提出來的一個較為轟動的網絡結構。capsule這個結構主要的特點是：Vector in Vector out——向量進，向量出，而普通的神經元(Neuron)是Vector in Scalar out——向量進，標量出。capsule輸出的向量比Neuron輸出的標量表達出更豐富的特征。
下圖臺灣大學的李宏毅老師對capsule解讀的slide。
- Neuron的輸出標量只能表示到是否存在鳥嘴。
- capsule的輸出的向量不僅能表示鳥嘴是否存在，而且還能表示出鳥嘴的方向(如圖中向量第一維)，鳥嘴的顏色等，鳥嘴的其他特征。
現(xiàn)在是不是開始感受到vector out 的威力了。
Capsule算法簡介
了解到capsule的強大之后，接下來筆者對Capsule算法實現(xiàn)做一個簡單的介紹，感受一下為什么Capsule這么強大。Capsule結構有兩個比較重要的創(chuàng)新，如下圖所示：
- Squash壓縮激活函數
-
Dynamic Routing（動態(tài)路由）
李宏毅老師capsule講解的slide
Squash函數：
Squash壓縮激活函數其實就是對向量進行一下壓縮，但保留向量的模長信息，函數的表達式可以看作兩部分：
-
這部分是用向量除以向量本身的模，其含義是將就是將模長壓縮為1。
-
而這部分就可以看出S向量的模長||S||越大，則這部分值越大。其含義是如果一個向量的模長越長，其向量所代表的那個特征就越強，類比于神經網絡中Neuron的輸出值越大。
Dynamic Routing（動態(tài)路由）：
這一部分作用的有如下2種理解方式：
- 對輸入的特征向量進行聚類。
- 相似特征越多，這類特征越強的，從而弱化離群特征，類似于一個特征選擇的過程，本質上也是個聚類過程。
如下圖所示：Cupsule的輸出向量 和 輸入向量
,
,
之間的內積相識度
，決定了
最終包各個輸入向量的信息程度。
從,
,
三個特征向量進來，通過動態(tài)路由循環(huán)，最后下圖中
和
會比較大(
和
比較相似)，
會比較小。輸出的
就更多的保留了
和
的信息。換個角度理解，如果有些特征向量很相似，他們的信息就會很大程度被保留下來。熟悉textrank算法的同學有沒有感覺到，其過程很像通過文本相識度進行重要度排序的過程。
下圖是Dynamic Routing（動態(tài)路由）的詳細計算過程。有點類似于RNN的計算過程，或者直接理解成聚類的迭代過程。相識度系數
綜上，特征向量輸入到Capsule之后，比普通神經網絡中的Neuron有如下三點優(yōu)勢：
- 做特征間的聚類，強化相似特征，
- 自動做特征選擇，輸出更有表達力的特征向量，
- 輸出特征向量的每個維度代表是 特征的特征。
上述李老師的例子對3個特征向量只聚了一類。真實的情況一般是你輸入一堆特征向量（matrix），返回一堆capsule處理后的特征向量（matrix），如下圖所示：
Capsule實戰(zhàn)部分——文本分類
數據載入
筆者這里使用的是評論情感分析數據集，之前的情感分析文章中介紹了這個數據集的數據格式，讀者可以去這篇文章查看數據詳情。
def read_data(data_path):
senlist = []
labellist = []
with open(data_path, "r",encoding='gb2312',errors='ignore') as f:
for data in f.readlines():
data = data.strip()
sen = data.split("\t")[2]
label = data.split("\t")[3]
if sen != "" and (label =="0" or label=="1" or label=="2" ) :
senlist.append(sen)
labellist.append(label)
else:
pass
assert(len(senlist) == len(labellist))
return senlist ,labellist
sentences,labels = read_data("data_train.csv")
char_set = set(word for sen in sentences for word in sen)
char_dic = {j:i+1 for i,j in enumerate(char_set)}
char_dic["unk"] = 0
數據預處理
這部分就是將句子進行向量化，同時做padding。
def process_data(data,labels,dic,maxlen):
sen2id = [[dic.get(char,0) for char in sen ] for sen in data]
labels = np_utils.to_categorical(labels)
return pad_sequences(sen2id,maxlen=maxlen),labels
train_data,train_labels = process_data(sentences,labels,char_dic,100)
模型定義
這里的代碼筆者是借用的蘇劍林大神基于pure Keras實現(xiàn)的Capsule。
import keras.backend as K
import numpy as np
#squash壓縮函數和原文不一樣，可自己定義
def squash(x, axis=-1):
s_squared_norm = K.sum(K.square(x), axis, keepdims=True)
scale = K.sqrt(s_squared_norm + K.epsilon())
return x / scale
class Capsule(Layer):
def __init__(self, num_capsule, dim_capsule, routings=3, kernel_size=(9, 1), share_weights=True,
activation='default', **kwargs):
super(Capsule, self).__init__(**kwargs)
self.num_capsule = num_capsule
self.dim_capsule = dim_capsule
self.routings = routings
self.kernel_size = kernel_size
self.share_weights = share_weights
if activation == 'default':
self.activation = squash
else:
self.activation = Activation(activation)
def build(self, input_shape):
super(Capsule, self).build(input_shape)
input_dim_capsule = input_shape[-1]
if self.share_weights:
self.W = self.add_weight(name='capsule_kernel',
shape=(1, input_dim_capsule,
self.num_capsule * self.dim_capsule),
# shape=self.kernel_size,
initializer='glorot_uniform',
trainable=True)
else:
input_num_capsule = input_shape[-2]
self.W = self.add_weight(name='capsule_kernel',
shape=(input_num_capsule,
input_dim_capsule,
self.num_capsule * self.dim_capsule),
initializer='glorot_uniform',
trainable=True)
def call(self, u_vecs):
if self.share_weights:
u_hat_vecs = K.conv1d(u_vecs, self.W)
else:
u_hat_vecs = K.local_conv1d(u_vecs, self.W, [1], [1])
batch_size = K.shape(u_vecs)[0]
input_num_capsule = K.shape(u_vecs)[1]
u_hat_vecs = K.reshape(u_hat_vecs, (batch_size, input_num_capsule,
self.num_capsule, self.dim_capsule))
u_hat_vecs = K.permute_dimensions(u_hat_vecs, (0, 2, 1, 3))
b = K.zeros_like(u_hat_vecs[:, :, :, 0]) # shape = [None, num_capsule, input_num_capsule]
#動態(tài)路由部分
for i in range(self.routings):
b = K.permute_dimensions(b, (0, 2, 1)) # shape = [None, input_num_capsule, num_capsule]
c = K.softmax(b)
c = K.permute_dimensions(c, (0, 2, 1))
b = K.permute_dimensions(b, (0, 2, 1))
outputs = self.activation(K.batch_dot(c, u_hat_vecs, [2, 2]))
if i < self.routings - 1:
b = K.batch_dot(outputs, u_hat_vecs, [2, 3])
return outputs
def compute_output_shape(self, input_shape):
return (None, self.num_capsule, self.dim_capsule)
這里定義了一個文本分類模型構建，采用雙層LSTM加Capsule的結構，同時你需要定義Capsule出來的向量個數n_cap，以及向量維度cap_dim，和動態(tài)路由的輪數routings。
def build_model(vocab,emb_dim,maxlen,n_cap,cap_dim,n_class):
word_input = Input(shape=(None,), dtype="int32")
embed = Embedding(input_dim=len(vocab),
output_dim=100,
input_length=maxlen
)(word_input)
x = Bidirectional(LSTM(100,return_sequences=True))(embed)
x = Capsule(
num_capsule=n_cap,dim_capsule=cap_dim,
routings=3, share_weights=True)(x)
x = Flatten()(x)
x = Dropout(0.5)(x)
outputs = Dense(n_class, activation='softmax')(x)
model = Model(inputs=word_input, outputs=outputs)
model.compile(loss='categorical_crossentropy', optimizer='nadam',metrics=['accuracy'])
model.summary()
return model
運行下方代碼模型就構建成功了，同時從下圖中keras的模型可視化輸出可以看到，capsule的如果你的向量個數n_cap，以及向量維度cap_dim設置過大，參數還是挺多的。
model = build_model(char_dic,100,200,100,100,3)
模型訓練
將數據喂給模型，指定好模型一些必要的參數，就可以訓練起來了。
model.fit(train_data,train_labels,batch_size=16,epochs=3,validation_split=0.2)
結語
筆者這里沒有去對比capsule結構和其他網絡之間的性能，但是從一些capsule的實驗中可以大致了解到capsule的 泛化能力較強，用向量代替標量表示特征，可以應付一下圖片中pattern方向不同，大小不同，顏色不同等困難場景。所以這個網絡還是很值得研究一番，筆者這里只是一個簡介，大家可以看看我放在參考中的蘇劍林大神的講解和李宏毅教授的視頻，甚至可以結合原文去仔細揣摩一番，可能收獲更多。
