上午說到了BP神經網絡，現在就把神經網絡的具體實現做一下簡單的解析。
BP的實現原理可以參考這里：http://blog.csdn.net/u013007900/article/details/50118945
在上次的講解中，我們說到了
接下來開始利用該式子簡要論述BP實現的原理：
由上式可以看出，網絡輸入誤差是各層權值ωjκ、υij的函數，因此調整權值可改變誤差 E。 顯然，調整權值的原則是使誤差不斷減小，因此應使權值與誤差的梯度下降成正比。
故訓練一個BP神經網絡，實際上就是調整網絡的權重和偏置這兩個參數，BP神經網絡的訓練過程分兩部分：
前向傳輸，逐層波浪式的傳遞輸出值；
逆向反饋，反向逐層調整權重和偏置；
到此，我們已經大致明白了神經網絡的訓練過程，但是怎么進行訓練的實現和網絡的使用呢？
在我看來，代碼實現的關鍵步驟只有3步：
1.創建網絡（create函數）
2.訓練網絡（train函數）
3.實現網絡（predict函數）
當然，一個網絡訓練好后可以將其保存為xml文件，下次再次使用時只需要讀取該xml文件就可以得到上次訓練過的神經網絡了，因此，又可以分為兩步：
1）網絡的創建：
1.創建網絡（create函數）
2.訓練網絡（train函數）
3.保存網絡（save函數）
2）網絡使用
1.讀取網絡（load函數）
2.實現網絡（predict函數）
當然，如果不想保存該網絡的話也可以訓練好直接使用的。
實現網絡的訓練首先需要準備好兩組數據，分別是：樣本數組和樣本標記數組，拿上次的兩個數相與的例子來說，樣本數組即為：{{0，0}，{0，1}，{1，0}，{1，1}}，而樣本標記數組則是每個樣本的結果分類，共有4組數據，每組數據的結果都有2種可能，四組數據的輸出結果是0，0，0，1，那么，標記樣本數組則可以初始化為： { {1,0}, {1,0}, {1,0}, {0,1} }需要注意的是，兩個樣本都是由Mat類型儲存，且數據類型都定義為CV_32FC1。
因此如果需要就該題進行BP神經系統的訓練，可以初始化樣本數組和標記數組如下：
float labels[4][2] = { {1,0}, {1,0}, {1,0}, {0,1} };
Mat labelsMat(4,2, CV_32FC1, labels);
float trainingData[4][2] = { { 0, 0 }, { 0, 1 }, { 1, 0 }, { 1, 1 } };
Mat trainingDataMat(4, 2, CV_32FC1, trainingData);
在理解了以上講解，那么進行神經網絡的搭建也就簡單得多了，我們還拿這個簡單的例子來進行分析：
創建神經網絡
首先，這組數據的每組輸入數據有兩組，故輸入層的感知器有兩個，輸出的數組每組也有兩個，故輸出層感知器個數為2，隱藏層一般情況下都有一到兩個，但是在本題中由于不需要隱藏層就可以解決，故無需用到隱藏層，所以該ANN共有兩層：輸入層（兩個感知器）和輸出層（兩個感知器），（但是按照邏輯來講，建立隱藏層以后仍舊是可以得到想要的答案的）創建神經網絡的函數可以寫為：
CvANN_MLP bp;
Mat layerSizes = (Mat_<int>(1, 2) <<2,2);
bp.create(layerSizes, CvANN_MLP::SIGMOID_SYM);
CvANN_MLP::SIGMOID_SYM ：選用sigmoid作為激勵函數，即上次所說的S形函數（包括單極性S形函數和雙極性S形函數）
除此之外，BP所使用的激勵函數還有：
CvANN_MLP::GAUSSIAN：GAUSS函數
CvANN_MLP::IDENTITY：階躍函數。
訓練神經網絡
在進行神經網絡的訓練時，我們就需要用到實現進行初始化好的樣本數組和標記數組了，為了方便在圖像中顯示，我們將樣本數組：{{0，0}，{0，1}，{1，0}，{1，1}}，進行擴大：{ { 50, 50 }, { 50, 100 }, { 100, 50 }, { 100, 100 } }，擴大后直接調用訓練函數：
bp.train(trainingDataMat, labelsMat, Mat(), Mat(), params);
關于train函數的參數：
int CvANN_MLP::train(constMat& inputs, constMat& outputs,
constMat& sampleWeights, constMat& sampleIdx=Mat(),
CvANN_MLP_TrainParams params=CvANN_MLP_TrainParams(), intflags=0 );```
1) inputs：輸入矩陣。它存儲了所有訓練樣本的特征。假設所有樣本總數為nSamples，而我們提取的特征維數為ndims，
則inputs是一個nSamples?ndims的矩陣，每個樣本的特征占一行。
2) outputs：輸出矩陣。我們實際在訓練中，我們知道每個樣本所屬的種類，假設一共有nClass類。那么我們將outputs設置為
一個nSample*nClass列的矩陣，每一行表示一個樣本的預期輸出結果，該樣本所屬的那類對應的列設置為1，其他都為0。
比如我們需要識別0-9這10個數字，則總的類數為10類，那么樣本數字“3”的預期輸出為[0,0,1,0,0,0,0,0,0,0];
3) sampleWeights：一個在使用RPROP方法訓練時才需要的數據，如果使用的是BACKPROP方法則不設置，直接設置為Mat()即可。
4) sampleIdx：相當于一個遮罩，它指定哪些行的數據參與訓練。如果設置為Mat()，則所有行都參與。
5) params：這個在剛才已經說過了，是訓練相關的參數。
其中，params是CvANN_MLP_TrainParams類型的參數，是經過初始化的，訓練相關的參數
CvANN_MLP_TrainParams params;
params.train_method=CvANN_MLP_TrainParams::BACKPROP;
params.bp_dw_scale=0.1;
params.bp_moment_scale=0.1;
//params.train_method=CvANN_MLP_TrainParams::RPROP;
//params.rp_dw0 = 0.1;
//params.rp_dw_plus = 1.2;
//params.rp_dw_minus = 0.5;
//params.rp_dw_min = FLT_EPSILON;
//params.rp_dw_max = 50.;
以上是其初始化參數方法，可以看出，共有兩種初始化方法，其中BACKPROP有兩個初始化參數，RPROP有五個初始化參數， BACKPROP表示使用back-propagation的訓練方法，RPROP即最簡單的propagation訓練方法。Opencv的神經網絡實現了MLP算法，具體為BACKPROP算法和RPROP算法兩種，BACKPROP算法使用的是在線方法，RPROP算法使用的是批量方法。
在這里我們使用第一種，即BACKPROP方法。
#保存和加載神經網絡
到此神經網絡已經搭建完成了，我們可以選擇
bp.save("name.xml");
保存神經網絡，保存后直接退出或者是繼續使用該網絡，但是保存后下次使用該神經網絡就不必再訓練了，只需要使用函數：
bp.load("name.xml");
即可。
#使用神經網絡
圖像進行特征提取，把它保存在sampleMat里，通過調用predict函數，我們得到一個輸出向量，它是一個1*nClass的行向量，(nClass是可能出現的結果種類數目)
其中每一列說明它與該類的相似程度（0-1之間），也可以說是置信度。我們只用對output求一個最大值，就可得到結果。
這個函數的返回值是一個無用的float值，可以忽略。
在本例子中，由于輸入層的感知器數目為2，是圖像的坐標，那么，在圖像的每一個坐標都去進行分類，得到的是 輸出層感知器數目的個數個輸出矩陣，每個數代表該種結果的符合率
如：將一個坐標 帶入后p[0]==0.1,p[1]==0.5，那么，取擬合率較大的，訓練結果是1。
for (int i = 0; i < image.rows; ++i){
for (int j = 0; j < image.cols; ++j){
Mat sampleMat = (Mat_<float>(1, 2) << i, j);
Mat responseMat;
bp.predict(sampleMat, responseMat);
float* p = responseMat.ptr<float>(0);
if (p[0] > p[1]){
image.at<Vec3b>(i,j) = green;
}
else{
image.at<Vec3b>(i,j) = blue;
}
}
}
把所有代碼總結起來：
include <opencv2/core/core.hpp>
include <opencv2/highgui/highgui.hpp>
include <opencv2/ml/ml.hpp>
include <iostream>
include <string>
using namespace std;
using namespace cv;
int main()
{
CvANN_MLP bp;
CvANN_MLP_TrainParams params;
params.train_method = CvANN_MLP_TrainParams::BACKPROP;
params.bp_dw_scale = 0.1;
params.bp_moment_scale = 0.1;
float labels[4][2] = { {1,0}, {1,0}, {1,0}, {0,1} };
Mat labelsMat(4,2, CV_32FC1, labels);
float trainingData[4][2] = { { 50, 50 }, { 50, 100 }, { 100, 50 }, { 100, 100 } };
Mat trainingDataMat(4, 2, CV_32FC1, trainingData);
Mat layerSizes = (Mat_<int>(1, 2) <<2,2);
bp.create(layerSizes, CvANN_MLP::SIGMOID_SYM);
bp.train(trainingDataMat, labelsMat, Mat(), Mat(), params);
int width = 150, height =150;
Mat image = Mat::zeros(height, width, CV_8UC3);
Vec3b green(0, 255, 0), blue(255, 0, 0);
// Show the decision regions
for (int i = 0; i < image.rows; ++i){
for (int j = 0; j < image.cols; ++j){
Mat sampleMat = (Mat_<float>(1, 2) << i, j);
Mat responseMat;
bp.predict(sampleMat, responseMat);
float* p = responseMat.ptr<float>(0);
if (p[0] > p[1]){
image.at<Vec3b>(i,j) = green;
}
else{
image.at<Vec3b>(i,j) = blue;
}
}
}
int thickness = -1;
int lineType = 8;
circle(image, Point(50, 50), 5, Scalar(255, 255, 255), thickness, lineType);
circle(image, Point(50, 100), 5, Scalar(255, 255, 255), thickness, lineType);
circle(image, Point(100, 50), 5, Scalar(255, 255, 255), thickness, lineType);
circle(image, Point(100, 100), 5, Scalar(0,0,0), thickness, lineType);
imwrite("result.png", image); // save the image
imshow("BP Simple Example", image); // show it to the user
waitKey(0);
return 0;
}
運行結果：