接著~《CMOT中對(duì)跟蹤結(jié)果results.mat的理解》~
在CMOT中,只用了一個(gè)數(shù)據(jù)集ETH-Bahnhof(標(biāo)準(zhǔn)),注意,無(wú)論是Results的生成,還是Sequence中,都寫的ETH_Bahnhof(here),就是個(gè)名稱的問(wèn)題,可以改的。
剛開始我把param中的參數(shù)改為
img_path = './Sequences/ETH-Bahnhof/';
img_List = dir(strcat(img_path,'*.png'));
相對(duì)應(yīng)的,把Results和Sequence的序列也改成標(biāo)準(zhǔn)的樣子,結(jié)果報(bào)錯(cuò)了。就是這里的問(wèn)題,不是Det的問(wèn)題。step? by? step => ok
果然是基本流程啊,要認(rèn)真!??!
有關(guān)鍵的3個(gè)問(wèn)題,
1、400 PK 1000
跟蹤結(jié)果有400個(gè),檢測(cè)Det有400個(gè),但是圖片共有1000張。??
只是設(shè)定的問(wèn)題,本來(lái)這個(gè)數(shù)據(jù)集圖片有1000張,只是detections沒(méi)有檢測(cè)全,只有400個(gè),要是detections檢測(cè)全的話,就是1000個(gè)。因?yàn)闄z測(cè)是400,所以frame_end也是400,雖然導(dǎo)入了1000張圖片,但有效的就只有400張,跟蹤圖像上也只出現(xiàn)了400張。這里用到的思想就是tracking-by-detections。
2、all_mot [ ]中的參數(shù)在代碼中的由來(lái)。
現(xiàn)在有一個(gè)問(wèn)題,即cmot_KCF_tracking_results.mat究竟從哪里保存的呢?
在主函數(shù)中,關(guān)于all_mot的描述是
[all_mot] = MOT_Draw_Tracking_HCF(Trk_sets, out_path, img_path, img_List, DrawOption,method);
其中,參數(shù)介紹~
% Tracking Results
[Trk_sets] = MOT_Tracking_Results(Trk,Trk_sets,fr);
在MOT_Draw_Tracking_HCF.m中,我們來(lái)看看all_mot究竟是如何組成的。
本函數(shù)的作用是畫出跟蹤的結(jié)果(bbox)并寫入。
函數(shù)介紹如下:在參數(shù)設(shè)定函數(shù)中有 param.new_thr = param.show_scan + 1;? ? % Temporal window size for tracklet initialization,這個(gè)和id有關(guān)~。
就是將center position,left-top position,size,labels先算好,然后直接將結(jié)果組成矩陣放入字典中。在這里q=1:length(Trk_sets),有400個(gè)索引,說(shuō)明跟蹤的結(jié)果是400個(gè)。那么如何獲得跟蹤的結(jié)果呢?
3、detections的導(dǎo)入load
請(qǐng)問(wèn)在MDP中detections是什么格式?他是自己創(chuàng)建的吧。。。
CMOT中得到的detections在跟蹤的過(guò)程中如何比對(duì),怎么用?作用是什么?
CMOT中,如果想要用其他數(shù)據(jù)集中的Det,生成結(jié)果并做測(cè)試,如何將標(biāo)準(zhǔn)的det.txt中的數(shù)據(jù)生成.mat文件的只有x,y,w,h?
答案是Yes。不過(guò)CMOT中的x,y 是中心position的,所以后來(lái)會(huì)有center to left的操作。這點(diǎn)要格外注意。否則,在使用標(biāo)準(zhǔn)數(shù)據(jù)做評(píng)估時(shí)會(huì)drift。
4、圖片的load方法
param.show_scan的作用是可以從指定幀查看跟蹤效果,不用只從第一幀查看,當(dāng)然了,還需要做些預(yù)關(guān)聯(lián)的操作。當(dāng)然啦,為了防止Index exceeds matrix dimensions.在estimation_size.m中nof_s和show_scan 要對(duì)應(yīng)起來(lái)。
5、detections中的參數(shù)問(wèn)題
x,y,w,h。為了增加測(cè)試數(shù)據(jù)時(shí)的通用性,x,y最好是left-top。
6、detections在不同數(shù)據(jù)集的.mat,此.mat和標(biāo)準(zhǔn)的Det中的det.txt文件的對(duì)應(yīng)轉(zhuǎn)換問(wèn)題。
關(guān)于將.mat=>.txt,本寶寶之前寫過(guò),http://www.lxweimin.com/p/ba8530013f12
7、數(shù)據(jù)關(guān)聯(lián)
主要是用到了本地關(guān)聯(lián)和全局關(guān)聯(lián)。各有各的作用,其中,with the global association, longer trajectories are built by linking fragmented trajectories.
本地關(guān)聯(lián)+全局關(guān)聯(lián)+ILDA=極大程度的提升算法性能,很好的增強(qiáng)了發(fā)生遮擋時(shí)候的魯棒性。
~~~
因?yàn)镺nline MOT 無(wú)非就是確定如何將檢測(cè)結(jié)果形成軌跡的過(guò)程。
軌跡初始化-->軌跡和檢測(cè)結(jié)果進(jìn)行數(shù)據(jù)關(guān)聯(lián)(data association)-->判斷何時(shí)停止跟蹤。
tracklet initial-->data association between tracklets and detections-->stop tracking.
其中,前兩個(gè)階段,即軌跡初始化和數(shù)據(jù)關(guān)聯(lián),都要用到一定的外觀模型和動(dòng)作模型(位置模型)。
順著這個(gè)思路,來(lái)看一段代碼:
%% Initiailization Tracklet
for i=1:init_frame
Obs_grap(i).iso_idx = ones(size(detections(i).x));
Obs_grap(i).child = [ ];
Obs_grap(i).iso_child =[ ];
end
[Obs_grap] = mot_pre_association(detections,Obs_grap,frame_start,init_frame);
可見(jiàn),在軌跡初始化(Initiailization Tracklet)的時(shí)候,需要先設(shè)定一個(gè)用于軌跡初始化的初始幀init_frame = frame_start + param.show_scan;之后在for循環(huán)中,利用這一初始幀的信息形成Obs_grap。再后來(lái),就可以用形成的Obs_grap和檢測(cè)detections,以及幀的初始和結(jié)束范圍進(jìn)行數(shù)據(jù)預(yù)關(guān)聯(lián),關(guān)聯(lián)的結(jié)果信息仍存在Obs_grap中??梢?jiàn),這個(gè)Obs_grap是專門用來(lái)存放數(shù)據(jù)關(guān)聯(lián)的信息的。但是需要注意的是,目前還沒(méi)有進(jìn)行軌跡初始化哦,只是先確定了邏輯上的初始關(guān)聯(lián)消息,因?yàn)闆](méi)有載入圖片。隨后把第一幀和初始幀之間的圖片load進(jìn)來(lái),利用這些圖片構(gòu)成的init_img_set進(jìn)行Initialization_Tracklets。
好,之后可以進(jìn)入Tracking的過(guò)程中了。
首先,把初始幀之后的全部圖片load進(jìn)來(lái),還是形成init_img_set。這樣我們就知道,init_img_set中包含的是全部的圖片。
然后,進(jìn)行data association。包括兩部分,Local Association和Global Association。
為理解Obs_grap的關(guān)聯(lián)過(guò)程。必須debug,這樣方便理解哈~
再然后,Update。包括兩部分,Tracklet Confidence Update和Tracklet State Update & Tracklet Model Update。
再再然后,處理New Tracklet Generation的情況。至此,MOT的基本過(guò)程就說(shuō)完了,可以將Tracking Results保存下來(lái),即Trk_sets,這是極其重要的結(jié)果??!不過(guò)呢,沒(méi)有可視的框框。
再再再然后,Draw Tracking Results,High (Red)-> Low (Blue)。有可視的框了。
最后,Save tracking results。當(dāng)然了,之后還可以做些評(píng)估啥的!
啊,Obs_grap在哪里用到的?需要存儲(chǔ)關(guān)聯(lián)信息的地方就會(huì)用到。
可以說(shuō),數(shù)據(jù)關(guān)聯(lián)是MOT的核心,用到這個(gè)的地方有:
~在1-init_frame中,用于邏輯的預(yù)關(guān)聯(lián)和擁有實(shí)物圖片的軌跡初始化會(huì)用到。
~兩大數(shù)據(jù)關(guān)聯(lián)過(guò)程,即本地關(guān)聯(lián)和全局關(guān)聯(lián),會(huì)用到。
~當(dāng)新軌跡需要產(chǎn)生的時(shí)候,需要用到。
To the end,涉及軌跡tracklets的產(chǎn)生過(guò)程中和需要關(guān)聯(lián)的時(shí)候,會(huì)用到Obs_grap。具體怎么連啊。。。debug看吧。。。