Re:從零開始的行人重識別(一)

緒言

馬上研二要開題了,提前通過blog的方式先把研究思路理清楚,也算是重新溫習一下學習過程中遇到的問題吧,希望能給自己帶來一些新的思路,同時幫助一些剛剛接觸reID的同學入門(雖然應該沒什么人會看),如有勘誤可以提出來,我會及時改正的。

什么是行人重識別?

行人重識別的是屬于計算機視覺下的重要的也是當前比較困難的任務。它主要要解決問題是如何在不同的攝像頭下找到相同的一個人,這種問題其實可以看做是一個圖像檢索的問題,即是通過一張行人在一個攝像頭下的圖像(或視頻)作為檢索目標,在其余攝像頭中找到與之最相似的行人。

為什么需要行人重識別?

主要是由于當前用于行人檢測的攝像頭大多是固定位置的局限性,當行人離開攝像頭后,就無法繼續(xù)追蹤新攝像頭下的行人,當行人重識別與行人檢測技術相結(jié)合后,就可以彌補缺陷。行人重識別廣泛應用于智能視頻監(jiān)控、智能安保等領域。

行人重識別問題的難點

  1. 在監(jiān)控攝像頭下的人臉往往模糊無法看清,因此不能直接使用人臉的信息作為識別的特征。
  2. 不同的攝像頭下因光照、行人的尺寸、行人的姿態(tài),行人的朝向的不同,導致行人不能只靠顏色、輪廓等信息進行重識別。
  3. 當前的行人重識別模型的泛化能力還有所欠缺,在一個數(shù)據(jù)集上訓練的數(shù)據(jù)無法在另一個數(shù)據(jù)集上也有較好的表現(xiàn)。

行人重識別常用數(shù)據(jù)集介紹

Market1501

Zheng L, Shen L, Tian L, et al. Scalable person re-identification: A benchmark[C]//Proceedings of the IEEE international conference on computer vision. 2015: 1116-1124.

2015年清華大學整理并提出,采集自6個攝像頭(其中5個高清攝像頭和1個低清攝像頭)。Market1501包含了12,936張訓練(train)圖像,3,368張查詢(query)圖像,以及19,732張圖庫(gallery)圖像,數(shù)據(jù)集包含1501個ID,其中訓練集包含751個ID的圖像,圖庫集包含750個ID的圖像。

下載鏈接

DukeMTMC-reID

Ristani E, Solera F, Zou R, et al. Performance measures and a data set for multi-target, multi-camera tracking[C]//European Conference on Computer Vision. Springer, Cham, 2016: 17-35.

2017年Duke大學提出,采集自8個不同的攝像頭,是DukeMTMC數(shù)據(jù)集的子集,DukeMTMC-reID包含了16,522張訓練圖像,2,228個查詢圖像,以及17,661張圖庫圖像,數(shù)據(jù)集包含1404個ID,其中訓練集包含702個ID的圖像,圖庫集包含702個ID的圖像。

下載鏈接提取碼:bhbh

CUHK03

Li W, Zhao R, Xiao T, et al. Deepreid: Deep filter pairing neural network for person re-identification[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2014: 152-159.

2014年香港中文大學大學提出,采集自10個不同的攝像頭,CUHK03包含了13164 張圖像,數(shù)據(jù)集包含1360個ID,其中有1160個ID屬于訓練集,100個ID屬于驗證集,100個ID屬于測試集。

下載鏈接提取碼:rhjq

評價指標

Rank-n

搜索結(jié)果中top-n張圖有正確結(jié)果的概率。

例如: query image為 m1 ,在大小為100的gallery中搜索。

如果識別結(jié)果是 m1 、m2、m3、m4、m5……,則此時rank-1的正確率為100%,rank-2的正確率也為100%,rank-5的正確率也為100%;
如果識別結(jié)果是m2、 m1 、m3、m4、m5……,則此時rank-1的正確率為0%,rank-2的正確率為100%,rank-5的正確率也為100%;
如果識別結(jié)果是m2、m3、m4、m5、 m1 ……,則此時rank-1的正確率為0%,rank-2的正確率為0%,rank-5的正確率為100%
最后求得多個query的Rank-n取平均值。

CMC

全稱為Cumulative Match Characteristic,將一個攝像頭采集的圖像用作查詢集,將其余攝影機采集的圖像用作圖庫集。對于圖庫集,為每個ID隨機采樣一張圖像。對于查詢集,將使用所有圖像,獲取每個圖像的CMC曲線,這里的CMC曲線就是Rank-n與Accuracy的關系曲線,然后對它們進行平均。重復此評估過程100次,并將平均值提交為最終結(jié)果。

mAP

能夠反應query image在gallery中所有正確的圖片排在檢索列表前面的程度,能更加全面的衡量ReID算法的性能。假設query image在gallery中有4張待查詢圖像,在檢索的列表中排序分別為1、2、5、7,則ap為(1/1 + 2/2 + 3/5 + 4/7)/4=0.793。ap較大時,檢索結(jié)果都相對靠前,最后對所有query的ap取平均值得到mAP。

最后編輯于
?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。