最近由于需要在帶有標(biāo)注的VID視頻數(shù)據(jù)集上利用caffe工具訓(xùn)練模型，所以需要將該種類型的原始數(shù)據(jù)文件轉(zhuǎn)換成為lmdb格式的數(shù)據(jù)文件。在可獲得的資料上可以查到SSD: Single Shot MultiBoxDetector，這種目標(biāo)檢測方法效果不錯而且利用的是專門用來進(jìn)行視頻目標(biāo)檢測的數(shù)據(jù)集VOC2007/2012進(jìn)行數(shù)據(jù)處理的，和我所需要處理的數(shù)據(jù)格式類似。所以首先簡單的利用作者github上的文件進(jìn)行了復(fù)現(xiàn)，感覺該方法的處理效果不錯，速度相比fast-rcnn快但還是較慢，我使用的顯卡是gtx950m顯卡，測試中速度大概FPS=8左右，還是較慢。而且當(dāng)檢測的圖片/視頻文件內(nèi)目標(biāo)增多時，出現(xiàn)目標(biāo)丟失/漏檢的情況比較多。。。下面是實(shí)驗(yàn)的過程：
- 在~/work/ssd/目錄下clone作者github下的caffe文件包
git clone https://github.com/weiliu89/caffe.git
cd caffe
git checkout ssd(出現(xiàn)“分支”則說明copy-check成功...作者caffe目錄下有三個分支fcn/master/ssd,利用git checkout來切換分支，否則只有master目錄下的文件)
- 配置caffe所需文件進(jìn)行編譯
cp Makefile.config.example Makefile.config
根據(jù)電腦具體的配置修改Makefile.config(cudnn，opencv pythonpath等設(shè)置)具體可以參考Ubuntu16.04+CUDA8.0+caffe配置里面的Makefile.config和Makefile的設(shè)置。
make -j 8 all
make -j 8 runtest
make -j 8 pycaffe #model是通過python編寫的文件進(jìn)行訓(xùn)練的
tips:如果在make all的時候出現(xiàn)/src/caffe/util/xxx.cpp報錯，如io.cpp,bbox_util.cpp等報錯問題，根據(jù)查到的一些資料顯示可能是作者在生成ssd的時候用的是opencv2.0,而此處我用的是opencv3.2，這兩個版本的opencv有很多不同的地方導(dǎo)致了這個錯誤，[Opencv 3.0環(huán)境下編譯SSD的問題以及解決方法。]。所以我按照下面的這種方法Ubuntu 16.04 + Opencv3.0 + gtx1080 + caffe(SSD) + ROS(Kinetic)可以配置成功：
cd ~/caffe
make clean
mkdir build
cd build
cmake ..
make all -j16
make install
make runtest
make pycaffe
- 下載預(yù)訓(xùn)練模型
鏈接：http://pan.baidu.com/s/1miDE9h2
密碼：0hf2
將它放入caffe/models/VGGNet/目錄下 - 下載VOC2007和VOC2012數(shù)據(jù)集，放到/home/data(需要在home目錄下生成data文件夾)
cd ..
mkdir data
cd data/
- 下載數(shù)據(jù)集
wget http://host.robots.ox.ac.uk/pascal/VOC/voc2012/VOCtrainval_11-May-2012.tar
wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar
wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtest_06-Nov-2007.tar
然后解壓數(shù)據(jù)集，這樣數(shù)據(jù)就準(zhǔn)備好了，注意這里選擇講數(shù)據(jù)放置在/home/data內(nèi)是因?yàn)橛?xùn)練時的腳本文件內(nèi)的數(shù)據(jù)路徑是這里，也可以不放置在該文件夾內(nèi)，但是需要在腳本文件內(nèi)更新數(shù)據(jù)的路徑。
tar -xvf VOCtrainval_11-May-2012.tar
tar -xvf VOCtrainval_06-Nov-2007.tar
tar -xvf VOCtest_06-Nov-2007.tar
將圖片轉(zhuǎn)化為LMDB文件，用于訓(xùn)練。注意這兩個文件對于我們訓(xùn)練ilsvrc數(shù)據(jù)集很有幫助！
cd ..
cd caffe/
./data/VOC0712/create_list.sh
./data/VOC0712/create_data.sh
- 開始訓(xùn)練
python examples/ssd/ssd_pascal.py
經(jīng)過120000次的訓(xùn)練之后，我們可以得到所需要的帶有超參數(shù)的訓(xùn)練model。
I0505 06:15:46.453992 7203 solver.cpp:596] Snapshotting to binary proto file models/VGGNet/VOC0712/SSD_300x300/VGG_VOC0712_SSD_300x300_iter_120000.caffemodel
I0505 06:15:47.089884 7203 sgd_solver.cpp:307] Snapshotting solver state to binary proto file models/VGGNet/VOC0712/SSD_300x300/VGG_VOC0712_SSD_300x300_iter_120000.solverstate
I0505 06:15:48.236326 7203 solver.cpp:332] Iteration 120000, loss = 4.45728
I0505 06:15:48.236359 7203 solver.cpp:433] Iteration 120000, Testing net (#0)
I0505 06:15:48.236398 7203 net.cpp:693] Ignoring source layer mbox_loss
I0505 06:24:21.998587 7203 solver.cpp:546] Test net output #0: detection_eval = 0.570833
I0505 06:24:22.015635 7203 solver.cpp:337] Optimization Done.
I0505 06:24:22.028441 7203 caffe.cpp:254] Optimization Done.
- 模型測試
（1）圖片數(shù)據(jù)集上測試
python examples/ssd/score_ssd_pascal.py
輸出為：
I0505 10:32:27.929069 16272 caffe.cpp:155] Finetuning from models/VGGNet/VOC0712/SSD_300x300/VGG_VOC0712_SSD_300x300_iter_120000.caffemodel
I0505 10:32:28.052016 16272 net.cpp:761] Ignoring source layer mbox_loss
I0505 10:32:28.053956 16272 caffe.cpp:251] Starting Optimization
I0505 10:32:28.053966 16272 solver.cpp:294] Solving VGG_VOC0712_SSD_300x300_train
I0505 10:32:28.053969 16272 solver.cpp:295] Learning Rate Policy: multistep
I0505 10:32:28.197612 16272 solver.cpp:332] Iteration 0, loss = 1.45893
I0505 10:32:28.197657 16272 solver.cpp:433] Iteration 0, Testing net (#0)
I0505 10:32:28.213793 16272 net.cpp:693] Ignoring source layer mbox_loss
I0505 10:42:04.390517 16272 solver.cpp:546] Test net output #0: detection_eval = 0.570833
I0505 10:42:04.414819 16272 solver.cpp:337] Optimization Done.
I0505 10:42:04.414847 16272 caffe.cpp:254] Optimization Done.
可以看到圖片數(shù)據(jù)集上的檢測結(jié)果為57.0833%。利用caffe/examples/ssd_detect.ipynb文件可以用單張圖片測試檢測效果(注意文件內(nèi)加載文件的路徑，如果報錯修改為絕對路徑)：
（2）視頻數(shù)據(jù)測試
python examples/ssd/ssd_pascal_video.py
可得到測試結(jié)果：
通過上面的檢測結(jié)果可以看出測試的準(zhǔn)確性還可以，但是也存在漏檢的情況，而且速度也只有FPS=8左右。
（3）攝像頭上測試：
python examples/ssd/ssd_pascal_webcam.py
因此通過SSD的方法可以用來訓(xùn)練和檢測交通標(biāo)志，文本檢測或人臉檢測等等，也可以用此方法來講帶有標(biāo)記信息的視頻目標(biāo)檢測數(shù)據(jù)集進(jìn)行轉(zhuǎn)換，生成所需要的lmdb格式的數(shù)據(jù)文件。
