場景識別（place recognition）是一類很常見的圖像處理任務。給定一張圖片，要求識別出這張圖片中出現的場景。識別的結果既可以是具體的地理位置，也可以是該場景的名稱，還可以是數據庫中的某個同樣的場景。

最常見的情況，也是本文將要介紹的，是在給定的圖像數據庫中，找出與給定圖片位于同一場景的關鍵幀。由于關鍵幀是事先建立的，可以包含準確的地理位置坐標，因此場景識別的結果可以用于后續的定位。

于是，問題就轉化為了，如何找到與給定圖片最相似的圖片。這里的相似并不需要像素層面上相似，而是內容上相似，觀測到相同的場景。因此，我們需要一種能夠提取場景特征的方法，將圖片轉換成特征向量，再根據特征向量在高維空間中的相似程度作為圖片的相似度。

對整張圖像提取特征

對圖像提取局部特征是很容易的，SIFT、ORB都可以做到。但提取全局特征就需要一些努力了。有兩種不同的方案，第一種是在局部特征的基礎上構造全局特征，比如對局部特征進行聚類，然后用聚類中心的特征構造全局特征。第二種是直接對整張圖片計算全局特征。

后者基本就是通用的深度學習網絡，多用于圖像分類任務。而前者則用更巧妙的方式將局部特征歸類，用局部特征在各個聚類中的分布來構造全局特征。

VLAD

VLAD的全稱是Vector of Locally Aggregated Descriptors，即“局部聚集描述子向量”。顧名思義，把聚集起來的局部描述子構造成一個向量，用該向量作為圖像的全局描述子。

VLAD的流程是，先提取N個局部特征x_i，將這N個特征與K個聚類中心按照下式計算：

這里，聚類中心c_k是事先用數據集中的大量特征聚類得到的，不過多介紹。每個特征x_i會與每個聚類中心c_k求差，然后乘上一個符號函數a_k。當x_i屬于第k個聚類時，a_k為1，否則為0。整個式子將屬于每個聚類的所有特征的殘差加起來，最后得到K個特征。我們可以理解為，該特征表達了聚類范圍內局部特征的某種分布。顯然，對于高層次的聚類中心來說，其周圍局部特征的分布是有語義層面的含義的。而且，我猜測，這里設計的殘差x_i-c_k非常關鍵，它抹去了不同聚類本身特征分布的差異，從而能夠只考慮局部特征與聚類中心的不同所帶來的特征分布，更能代表這一簇特征的獨特性。（其實如果從另一方面考慮，該操作也可能帶來壞處。抹平不同聚類特征間的差異，有可能導致不同聚類中出現相同的模式，反而使得全局特征缺乏分辨能力。）

VLAD設計很巧妙，但隨著深度學習的發展，我們自然想要試試能不能用神經網絡代替傳統的VLAD方法，于是就有了NetVLAD。

NetVLAD

現在，我們考慮如何用神經網絡實現VLAD中的式子。首先，局部特征x_i，很容易用神經網絡卷積得到的特征代替。但外面乘上的符號函數a_k就不容易實現了，這是一個離散的函數，無法求導，也就不能反向傳播。

如果我們把a_k當做對殘差的加權。那么上式的含義就是，屬于當前聚類的殘差權重為1，不屬于當前聚類的殘差權重為0?？雌饋硎且粋€簡單的判斷，但實際上可以把它理解為一個分類問題。該分類問題描述為：給定一個局部特征x_i，對其進行K分類，得出x_i屬于第k個分類的概率。這看起來接近圖像分類問題了，似乎用一個softmax就可以解決。于是思路來了，只要想出一個評估x_i與各個聚類的吻合程度的函數z，就可以用softmax(z(x_i))來作為權重。最簡單的方案，就是令z=-α‖x_i-c_k‖²。特征離聚類中心越近，z越大，權重越高；離聚類中心越遠，z越小，權重越低。用新的權重代替前面的a_k，再經過一系列的化簡，就得到：

現在，整個公式處處可導，可以設計出下圖所示的神經網絡來實現它。

前面的卷積層用來提取局部特征，后面的conv、softmax、VLAD core實現上面的公式。值得一提的接下來的兩個歸一化。

第一個叫intra-normalization，是將每一個D維的特征分別作歸一化。此處的歸一化很別致，顯然，作者對聚類中殘差的絕對大小不感興趣，唯一關心的是殘差的分布。這讓我聯想到BRIEF描述子，通過比較特征點周圍的若干對采樣點的殘差。BRIEF做的更徹底，完全不理會殘差的大小，直接二值化為0和1，大概也是這個道理。仔細思考后也容易理解，不同圖像中的同一物體可能披有不同的外表，比如不同的光照、不同的色調，但結構和紋理應當是相似的。

第二個歸一化則是將最后得到的K×D維特征一起歸一化，屬于常規操作。

訓練

我們所能得到的標注數據只有相似的圖像對和不相似的圖像對，因此可以構造三元組損失來進行訓練。

損失函數很容易理解，positive pair間的距離加上margin應小于negative pair間的距離。如果滿足這個條件，那么損失為0，訓練達到效果，否則需要進一步訓練使其接近于0。

總結

NetVLAD是一個將傳統方法神經網絡化的教科書般的實現。用softmax代替最近鄰的二值函數，實現了全流程可導。另一方面，前文未能提到，NetVLAD將聚類中心也作為網絡的參數進行訓練，使得聚類中心不再是狹義的聚類中心，而是更能體現特征分布的語義上的中心，從而得到比傳統聚類方法更好的結果。

參考資料

NetVLAD: CNN architecture for weakly supervised place recognition Relja Arandjelovic etc.

論文筆記：NetVLAD: CNN architecture for weakly supervised place recognition 技術劉