1.論文背景
這篇Multi-Branch Hierarchical Segmentation 文章來自上海交通大學仿腦計算與機器智能研究中心(簡稱BCMI),來自CVPR 2015,是一篇用 segmentation 來做 proposal 的論文,該文是在selective search原型的基礎上進行了進一步區域聚合方法的探索。
Segment based object proposal的方法的主要思想是,將分割好的圖像區域進行組合來得到目標區域。這存在一個問題:上一步區域組合出錯會導致下一步錯誤,這種single-way merge segmentation region的方法是有缺陷的。所以此篇文章采用muti-branch分支的方法來擴大搜索范圍,以達到改進精度的目的。
1.1 文章主要內容
通過對分割區域空間搜索來得到目標區域的方式,單純使用貪心策略是不可取的。此篇文章對分割區域的組合采用了一個原則:包含了多種顏色和紋理區域的復雜目標需要使用不同的組合策略來完成分割區域組合。這篇文章的主要思路就是將多種組合策略進行組合搜索,來改善selective search方法的精度。
此篇文章研究的內容主要由多種分割區域組合策略和分割區域搜索兩部分組成。
(1)Learning complementary merging strategies
論文將區域組合的過程抽象為線性分類器,并通過改變每次訓練樣本的權值來訓練分類器(類似Boosting過程)。但與Boosting不同的是,論文提出的區域組合分類器不是將多個弱分類器組合成強分類器,而是通過分類器之間的錯誤修改來形成新的分類器。
(2) Multi-staged branching
通過上面的區域組合分類器,可以對圖像分割區域進行搜索,將一個貪心聚合的步驟分成了多個。
2.論文思路
論文主要通過樹形組織來增加分割區域的組合搜索空間,并用區域組合結果來訓練SVM分類器。
2.1 Cascaded multi-branch greedy merging
文章采用樹型分支的方式來組織不同的區域組合策略,同一個分支下的分割區域組合策略方法相同。
假設區域聚合樹的高度為T,樹的每個非葉子節點的度為K,則最底層可以得到KT個區域聚合結果,總共可以得到 個proposal窗口,其中λ表示每次區域聚合增加的零散區域數量,N為最開始圖像擁有的分割區域數量。則可以使用λ和N來控制最后的proposal數量。
其中生成每個分支的過程實際上還是貪心聚合的方法,但對這個過程進行了分層操作。
2.2 Complementary merging strategy learning
上一點描述了如何進行分支操作,接下來是如何使用圖像分割區域聚合樹來生成proposal的過程,主要是如何設計分割區域分類器。
為使得圖像分割區域聚合樹不同分支上的proposal分類模型相同,文中使用了binary linear classifier(二元線性分類器)來對分割區域進行分類。
即將屬于同一物體的不同區域作為正例,將屬于不同的物體的不同的區域作為反例作為訓練。進而得到相應的SVM分類器。
3.結果對比
3.1 實驗信息
實驗的原始圖像數據來自PASCAL VOC2007,初始的圖像分割圖像算法和圖像區域特征完全與selective search相同,這篇文章主要在區域聚合算法上面進行了改進。
進行對比的算法有selective search (SS), geodesic object proposals (GOP), global and local search (GLS), edge boxes (EB) 和 binarized normed gradients(BING)。
3.2實驗結果
實驗結果對比如下所示:
在對比中,文章提出的方法(Ours)與Selective Search (SS)差別并不太大。在低proposal數量情況下Edge Box和Selective Search的結果要好于文章提出的方法;在高proposal數量情況下,文章提出的方法結果稍微好一點。
上表是幾種方法加R-CNN在PASCAL VOC2007識別結果對比,文章中并沒有注明對比情況下的IoU參數。從表中看出,就檢索精度上,文章提出的算法與Selective Search并沒有太大的區別,文章提出的算法改進很有限。
4.方法不足與總結
這篇文章的主要思想是對Selective Search方法就分割區域聚合過程進行改進,文章使用了多層樹形聚合方法,將之前的單貪心聚合分為多個貪心聚合流程,并使用SVM進行區域分類。文章使用的樹形區域聚合方法確實增大了分割區域聚合的搜索空間,但從單個過程來看還是貪心聚合的方式,所以文章對Selective Search的改進程度很小,主要提供了一種新的分割區域聚合的思路。
從實驗對比結果來看,文章提出的方法只在低proposal數量情況下稍微優于Selective Search,但文章提出的方法使用的空間復雜度遠大于Selective Search,而且文章提出的方法增加了計算proposal的時間。
5.主要參考文獻
Uijlings, Jasper RR, et al. "Selective search for object recognition." International journal of computer vision 104.2 (2013): 154-171.