<u>版權所有，轉載請注明出處</u>
參考Lasagne官網tutorial進行總結而來。
一、簡介
Lasagne is a lightweight library to build and train neural networks in Theano.
Lasagen是一個基于Theano的輕量級的神經網絡庫。其實就是對Theano庫的上層封裝，使其用起來更簡單，但是相應的靈活性下降。
Lasagne設計的六個原則是簡潔、透明、模塊化、實用、聚焦和專注。
官網地址：http://lasagne.readthedocs.io/en/latest/index.html
GitHub： https://github.com/Lasagne/Lasagne
二、安裝
本質上來說Lasagne還是個python庫，所以它的安裝還是很簡單的，通過pip就可以安裝了。整個安裝就兩步：安裝依賴包和安裝Lasagen.
官網有很詳細的安裝教程。
-
穩定版安裝
執行下面兩條命令即可：
pip install -r https://raw.githubusercontent.com/Lasagne/Lasagne/v0.1/requirements.txt
pip install Lasagne==0.1
-
Bleeding-edge version
執行下面兩條命令：
pip install --upgrade https://github.com/Theano/Theano/archive/master.zip
pip install --upgrade https://github.com/Lasagne/Lasagne/archive/master.zip
-
開發版安裝
執行下面命令
git clone https://github.com/Lasagne/Lasagne.git
cd Lasagne
pip install -r requirements.txt
pip install --editable
這里建議安裝Bleeding-edge version，功能相對比較新，而版本也相對穩定。
三、Tutorial
教程還是以經典的mnist數據集的字符識別為例。
整個過程分為以下幾個部分：
- Loading data/加載數據
- Building the model/建立模型
- Training the model/訓練模型
下面分別介紹這幾個部分
1.加載數據
這個和其它庫的數據加載方法差不多，都是采用python語法處理數據，沒有太多特殊之處，這里就不詳細介紹了，具體的可以查閱源代碼mnist.py
2.建立模型
和所有的框架一樣，非常重要的一個環節就是進行網絡模型的定義。Lasagne的網絡模型建立方法和torch比較相似，都是對各種常用網絡層（layer）進行了封裝，我們只需要調用相應的網絡層函數并把它們搭接在一起就可以了，就像蓋房子一樣。
下面以建立多層感知機、卷積神經網絡等模型為例進行介紹。
- 多層感知機（Multi-Layer Perceptron, MLP)
這里以構建一個兩個隱藏層的多層感知機為例，并對輸入增加20%的dropout、隱藏層增加50%的dropout。
實際上，我們網絡模型就由輸入層+兩個隱藏層+輸出層組成，只需要對其分別進行定義即可。
** 輸入層 **
輸入層采用InputLayer進行定義，InputLayer只用于接收數據，不對數據做任何處理，類似于tensorfolw里的placeholder功能。定義方法如下：
l_in = lasagne.layers.InputLayer(shape=(None, 1, 28, 28), input_var=input_var)
shape里對應的四個參數分別表示：(batchsize, channels, rows, columns),input_var表示需要連接到網絡輸入層的theano變量，默認為none。
然后對輸入數據加以20%的dropout，采用DropoutLayer進行定義：
l_in_drop = lasagne.layers.DropoutLayer(l_in, p=0.2)
p=0.2表示dropout的比例。DropoutLayer也屬于layers里的一個組件，也可以簡寫為dropout
** 隱藏層 **
這里的隱藏層由全連接層、激活層、dropout層組成。Lasagne將全連接層和激活層封裝到一個函數里了，即DenseLayer,定義如下：
l_hid1 = lasagne.layers.DenseLayer(
l_in_drop, num_units=800,
nonlinearity=lasagne.nonlinearities.rectify,
W=lasagne.init.GlorotUniform())
num_units表示全連接層的單元數目，nonlinearity用以定義激活層函數，激活層函數封裝在lasagne.nonlinearities中，這里選擇的是ReLU函數，而網絡參數的初始化封裝在lasagne.init里，只需要分別進行調用就可以了。
之后添加50%的dropou：
l_hid1_drop = lasagne.layers.DropoutLayer(l_hid1, p=0.5)
第二個隱藏層的定義與此類似，這里就不贅述了。
** 輸出層 **
輸出層依然是一個全連接網絡，只是不同的是這里是做分類任務，所以需要將非線性函數/激活函數修改為softmax，如下：
l_out = lasagne.layers.DenseLayer(
l_hid2_drop, num_units=10,
nonlinearity=lasagne.nonlinearities.softmax)
這樣就得到了一個含兩個隱藏層的多層感知機了。當然，我們也可以像官網一樣將一些網絡設置參數作為函數變量輸入，創建可自定義的多層感知機。
- 卷積神經網絡(Convolutional Neural Network, CNN)
這里以建立一個含兩個卷積層的神經網絡為例。網絡模型的具體組成包括輸入層、兩個卷積層、全連接層、輸出層。
** 輸入層 **
輸入層的定義和前面一樣，不再贅述。
** 卷積層 **
卷積層采用Conv2DLayer進行定義，定義如下：
network = lasagne.layers.Conv2DLayer(
network, num_filters=32, filter_size=(5, 5),
nonlinearity=lasagne.nonlinearities.rectify,
W=lasagne.init.GlorotUniform())
num_filters表示卷積核的數目,filter_size表示卷積核的大小，激活函數和參數初始化和DenseLayer類似。當然，我們還可以定義padding、stride等參數，具體方法可以查看Conv2DLayer的幫助。
值得注意的是lasagne默認采用的是theano的卷積實現方法，如果配置了gpu就會調用Nvidia提供的cuDNN實現。lasagne也提供了一些其它的實現方法：
lasagne.layers.dnn.Conv2DDNNLayer to enforce cuDNN, lasagne.layers.corrmm.Conv2DMMLayer to enforce the gemm-based one, lasagne.layers.cuda_convnet.Conv2DCCLayer for Krizhevsky’s cuda-convnet.
一般情況，我們會在卷積層后加上pooling層，其中maxpool采用函數MaxPool2DLayer進行定義：
network = lasagne.layers.MaxPool2DLayer(network, pool_size=(2, 2))
pool_size表示pooling的大小。當然我們也可以采用Pool2DLayer定義meanPool等。
之后的第二個卷積層、全連接層、輸出層的定義與前面類似，此處不再贅述。
通過前面mlp和cnn的定義可以發現，在lasagne里定義網絡，只需要在lasagne.layers里調用對應的網絡層函數然后按照一定的結構組裝起來即可。
關于lasagne.layers的詳細使用可以查閱官方文檔lasagne.layers
3.訓練模型
和一般的深度學習框架類似，我們還需要定義訓練模型，包括：損失函數、更新/優化函數等。在Lasagne里，或者更準確的說是在Theano里，一般是將網絡模型、訓練模型整合在一塊兒定義一個function，然后再將訓練數據/測試數據作為函數的自變量輸入到函數中，而輸入數據通過tensor來進行定義，網絡參數通過shared來更新并保存。tensorflow和這個其實是有點類似，tensorflow是將網絡模型、訓練模型等等整合成一個計算圖，定義一個placeholder接收數據，而網絡參數通過Variable來保持。
下面，通過代碼來進行說明。
- 數據準備
通過Theano里的tensor進行定義：
# Prepare Theano variables for inputs and targets
input_var = T.tensor4('inputs')
target_var = T.ivector('targets')
這兩個變量作為訓練函數的自變量，在實際訓練時只需要將真實的訓練數據帶入了函數中即可。
-
損失和更新函數定義
通過調用lasagne.objectives里的損失函數來定義不同的損失函數：
prediction = lasagne.layers.get_output(network)
loss = lasagne.objectives.categorical_crossentropy(prediction, target_var)
loss = loss.mean()
這里的network是前面定義的網絡模型，prediction表示網絡模型的輸出表達式。這里的的損失函數采用的是categorical_crossentropy。
驗證集和測試集上的定義與此類似，只是我們需要更改deterministic為deterministic=True，這樣會屏蔽掉所有的dropout層：
test_prediction = lasagne.layers.get_output(network, deterministic=True)
test_loss = lasagne.objectives.categorical_crossentropy(test_prediction,
target_var)
test_loss = test_loss.mean()
有了網絡模型和損失函數的定義后，還需要定義網絡訓練與參數更新方法的表達式，一般采用梯度下降方法。更新方法通過調用lasagne.updates里的更新函數來進行定義,這里采用的是Stochastic Gradient Descent (SGD) with Nesterov momentum，即nesterov_momentum：
params = lasagne.layers.get_all_params(network, trainable=True)
updates = lasagne.updates.nesterov_momentum(
loss, params, learning_rate=0.01, momentum=0.9)
這里我們第一步需要先獲取所有的網絡參數，然后產生更新參數的更新表達式。
-
Compilation
最后，就是基于前面的表達式定義一步訓練函數：
train_fn = theano.function([input_var, target_var], loss, updates=updates)
這個函數是告訴Theano生成一個訓練函數，接收兩個輸入input_var, target_var,然后計算trainning loss并返回,之后利用updates表達式更新參數。
如果是用于驗證和測試，我們就不需要進行網絡參數的更新，這時這樣定義：
val_fn = theano.function([input_var, target_var], [test_loss, test_acc])
對于測試精度，采用下面定義：
test_acc = T.mean(T.eq(T.argmax(test_prediction, axis=1), target_var),
dtype=theano.config.floatX)
前面的這么多定義，其實并沒有進行正式的計算，就像是tensorflow里的計算圖定義。其實就像是我們在高中的時候解一道數學題，往往都是先把最終的符號表達式推導出來，最后再把輸入x代入表達式計算結果y。Theano的當初的誕生其實也是基于這個需求的，當時python的Numpy、Scipy等庫主要用于數值計算，但是需要一種能夠調用庫就得到導數的符號表達式的庫，所以就有了后來的Theano，所以本質上來說早期的Theano的定位是一個融合符號運算與數值計算的數學計算庫。
-
循環訓練
有了一步訓練表達式后就可以將真實的數據輸入到函數中進行循環訓練了：
for epoch in range(num_epochs):
# In each epoch, we do a full pass over the training data:
train_err = 0
train_batches = 0
start_time = time.time()
for batch in iterate_minibatches(X_train, y_train, 500, shuffle=True):
inputs, targets = batch
train_err += train_fn(inputs, targets)
train_batches += 1
# And a full pass over the validation data:
val_err = 0
val_acc = 0
val_batches = 0
for batch in iterate_minibatches(X_val, y_val, 500, shuffle=False):
inputs, targets = batch
err, acc = val_fn(inputs, targets)
val_err += err
val_acc += acc
val_batches += 1
# Then we print the results for this epoch:
print("Epoch {} of {} took {:.3f}s".format(
epoch + 1, num_epochs, time.time() - start_time))
print(" training loss:\t\t{:.6f}".format(train_err / train_batches))
print(" validation loss:\t\t{:.6f}".format(val_err / val_batches))
print(" validation accuracy:\t\t{:.2f} %".format(
val_acc / val_batches * 100))
以上就是Lasagne的簡單使用方法的，還是挺簡單的，跟著教程走，基本上一個小時就搞定了。如果要學習Theano庫的其它一些用法以及各種函數的具體使用方法，建議查詢官方文檔里的API，主要包括：
- all layers(
lasagne.layers) - weight initializers (
lasagne.init) - nonlinearities (
lasagne.nonlinearities) - loss expressions (
lasagne.objectives) - training methods (
lasagne.updates) - regularizers (
lasagne.regularization) lasagne.randomlasagne.utils
<div align = center>-END-</div>
<u>版權所有，轉載請注明出處</u>
