在博客園 “一只有恒心的小菜鳥” 找來多目標跟蹤的綜述，很棒，太受用了，學習一下！
其他blog
http://blog.csdn.net/syoung9029/article/details/57101687
多目標跟蹤
http://blog.csdn.net/syoung9029/article/details/57101125
多目標跟蹤 綜述(一)
http://www.cnblogs.com/YiXiaoZhou/p/6013360.html?
多目標跟蹤 綜述(二)
http://www.cnblogs.com/YiXiaoZhou/p/6016759.html?
多目標跟蹤 綜述(三)
http://www.cnblogs.com/YiXiaoZhou/p/6018855.html
下面就我所看的上述內容，再總結一下。
目標跟蹤又包括單目標跟蹤和多目標跟蹤。
單目標跟蹤：通過目標的表觀建模或者運動建模，以處理光照、形變、遮擋等問題。
多目標跟蹤，即Multiple Object Tracking(MOT),也稱為Multiple Target Tracking(MTT)。
多目標跟蹤問題較單目標跟蹤要復雜的多，除了單目標跟蹤遇到的問題外，還需要目標間的關聯匹配。另外在多目標跟蹤任務中經常會碰到 目標的頻繁遮擋、軌跡開始終止時刻未知、目標太小、表觀相似、目標間交互、低幀率等等問題。
多目標跟蹤的主要任務：給定一個圖像序列，找到圖像序列中運動的物體，并將不同幀中的運動物體一一對應(Identity),然后給出不同物體的運動軌跡。
研究的物體種類：任意，但研究最多的是“行人跟蹤”。
了解一些基本術語
了解以下的基本術語對于理解相關的目標跟蹤論文是有很大的幫助的。
目標：在一幅圖像中，明顯區別于周圍環境的閉合區域
檢測：給出目標在圖像中的位置的過程
檢測方法：檢測方法很多，比如模板匹配。而對于視頻中運動目標的檢測，可以通過幀間差分法、背景減除法、光流法等實現。
跟蹤：在連續圖像序列中完成對目標的檢測，并把物理意義下的同一目標相關聯的過程
檢測響應（detection response）：檢測過程的輸出量。又名檢測假設（detection hypotheses）、檢測觀測量（detection observations）
軌跡（Trajectory）：MOT系統的輸出量，一條軌跡對應這一個目標在一個時間段內的位置序列
小段軌跡（Tracklet）：形成Trajectory過程中的軌跡片段。完整的Trajectory是由屬于同一物理目標的Tracklets構成的。
數據關聯：數據關聯是多目標跟蹤任務中經常使用的典型的處理方法，用于解決目標間的匹配問題，這里的目標可以是detection responses，也可以是tracklets。
注：所謂的“物理目標”，就是具有相同物理意義的目標，比如兩幅圖像都出現了“張三”、“李四”，那么兩個“張三”就是同一物理目標，雖然有可能兩幅圖像中“張三”的形狀、表觀都發生了很大的變化。
MTT的形式化表達
具體的形式化描述如下：
MTT的任務是一個后驗概率問題，根據檢測響應結果找到目標的軌跡。有2種實現方法。
probabilistic inference：方法適合online tracking，每一幅圖像的處理僅和之前的結果有關，類似于Hidden Markov Model，操作分為兩個步驟：預測和更新。這類方法有粒子濾波(Praticle Filter)、蒙特卡洛模擬退火(MCMC)等。
deterministic optimization：利用了當前幀的前后幀信息進行最優化求解，具體的方法包括二分圖匹配、動態規劃、最小流\最大割方法和最大權重獨立集等方法。
MTT方法的分類
不同的分類角度對應著不同的分類結果。
1、初始化的角度/數學的角度
主要強調的是目標是如何獲得的，可以分為：
Detection Based Tracking (DBT)
Detection Free Tracking (DFT)
區別：
DBT是指在跟蹤之前每一幅圖像中目標都是detected，也就是說MOT過程包含一個獨立的detection過程。這種方法性能比較依賴于detectors的好壞。
DFT需要人工標定第一幀圖像中的目標，之后的過程中邊檢測目標，邊跟蹤目標。
二者的優缺點比較：
DFT和DBT相比較，DBT使用的更多。主要原因在于DFT需要人工標定目標，對于非第一幀出現的目標或者中間幀消失的目標沒辦法處理。而DFT相對于DBT的優點在于對目標類型事先要求不高，由人工指定，而DBT的目標類型則由分類器決定。
2、處理過程的角度
數據的處理方式可以分為Online tracking和offline tracking。
online tracking：更適用于實際情況，視頻一般是序列化得到的。
offline tracking：更可能得到全局最優解。
所以許多方法采用的是在較小的時間片段內使用offline tracking的方法進行折衷。
總結：起始可以發現不同的分類之間是存在交叉的，比如DFT就是online tracking的過程。當然DBT也存在online tracking方式，比如兩幀關聯。另外，實際應用中，一般大多數online tracking方法都是probability inference方法，而deterministinc optimization對應著offline tracking。
Note：在實際應用時，泛化的MTT，一般DBT方法要求預先訓練好的detector，這就導致跟蹤目標的類型時確定的。而最近有學者研究針對于任意類型目標的MTT方法，比如在第一幀中人工標定一個目標，然后在前幾幀中檢測出了該目標類似的所有目標，使用這些目標訓練分類器，后續類似于DBT過程，這樣MTT方法就可以針對于不同的視頻數據處理了。
好了，前面介紹了什么是MTT問題，MTT問題面臨的難點，以及MTT的一般形式化表達和方法的分類。接下來，介紹一下一般的MTT方法都包含哪些component，以保證提出模型、考慮問題更加全面。
一般MTT方法都會包含5個components，分別是：
Appearance Model（外觀模型），Motion Model（運動模型），Interaction Model（交互模型）, Exclusion Model （排除模型）和Occlusion Mode（遮擋模型）。
注意：在這里與我之前寫的論文筆記- Understanding and Diagnosing Visual Tracking Systems一文中所提出來的model不同哦！那篇筆記涉及的是單目標跟蹤，提出的component有：
Motion Model、Feature Extractor、Observation Mode（觀察模型）l、Model Updater、Ensemble Post-processor等5個。哈哈，都是5個喲！
下面分別對MTT方法中所涉及的5大模型做解釋。
Appearance Model
即表觀模型，這里既包含目標的視覺表示，也包括目標間相似性、相異性的度量。
視覺表示肯定是基于圖像特征了。這里先介紹一些特征。
point feature, 比如Harris角點、SIFT角點、SURF角點等等
Color/intensity（強度） features, 比如最簡單的模板、顏色直方圖等。（補充：顏色直方圖為常用的顏色特征，通過計算每種顏色在圖像顏色空間中的比例從而代替了計算每種顏色在圖像空間中的位置，對于在空間中沒有清晰邊緣的目標描述性較強。）
Optical flow, 光流特征，蘊含了時域信息
Gradient/pixel-comparison features, 基于梯度的特征，典型的如HOG特征
Region covariance matrix features, 該特征對于光照和尺度變換相對魯棒
Depth, 即深度信息，對于視頻這種3D數據作用還是蠻大的
others，針對于具體應用的特征，比如對于行人的步態特征等
總之呢，每個特征都不是萬能的，有優點也有缺點，比如：
Color histogram簡單，容易計算相似性，但其僅僅是統計信息，丟失了區域像素的位置信息。 Points features對于平面內變換非常有效，但對于遮擋和out-of-plane變化就無能無力了。
HOG等梯度特征顯然對光照比較魯棒，但對于遮擋和形變效果很差。
Region covariance matrix鑒別能力很強，但計算太復雜。
Depth則很難獲得精確值。等等。
其實呢，SIFT，Haar，HOG特征屬于紋理特征。紋理特征對于目標的描述具有很強的描述能力和光照不變性。然而,在目標跟蹤過程中,被跟蹤目標跟可能發生紋理的改變,能否選擇合適的紋理特征則是跟蹤效果好壞的關鍵。而近來很火的CNN特征屬于結構性特征。結構性特征是通過深度神經網絡訓練得到的從簡單到復雜具有結構性的特征,深度神經網絡就是借鑒了動物視覺皮層的構造,以人為例,人的視覺系統的信息處理是分級的。從低級的 V1 區提取較底層類似于邊緣特征,到 V2 區的產生由邊角等特征組合而成的形狀等特征,再到更高層,以致整個目標。可以說視知覺的過程是一個由底層基礎特征到高層結構性特征抽象的過程,隨著抽象的層級越來越高,展現出來的特征越具有高層次的表示,面對跟蹤任務中變化的目標可以用底層到高層的特征就行描述。
接下來介紹一些目標表示方法。
此外，還有一些其他的方法。比如協方差矩陣表示、基于梯度的表示方法和詞袋表示方法等。
上圖的部分單詞釋義：Concatenating（連接）、Summation（求和）、Cascading（級聯）。
Motion Model
該成分主要考慮時域上的運動特性，比如速度的漸變等。
該模型主要采用的方式有兩種：勻變速模型和變速模型。
勻變速模型
該模型認為速度除了噪聲干擾，應該是保持均勻變化的，比如加速度為0。除了加速度為0，還可以考慮加速度非零情況。
非勻變速模型
有些獲取的視頻并不能保證每幀之間的速度是漸變的，比如低幀高速運動的物體中速度突然發生改變，那么顯然勻變速假設就不合理了，所以也有非勻變速模型的提出。
Interaction Model
同一運動場景中的目標，往往運動軌跡會相互影響，比如晨跑中跑步的人往往傾向于扎堆，但又保持距離，隨著跑步過程，相距很近的人慢慢的節奏就調整一致等等。
interaction Model包括兩種典型的模型： social force model和crowd motion pattern model。
這兩種模型介紹如下：
social force model：
該模型認為每個個體受到兩部分作用：自身作用和外部作用。
自身作用：1. fidelity，首先目標的目的地不會發生改變；2. constancy，其次個體的速度一般不會發生跳變，包括大小和方向
環境作用：1. attraction，首先同一類的個體往往距離很近；2. repulsion，其次每個目標都會有相應的舒適距離，不能太近；3. coherence，靠近的目標往往速度會比較相近。
這幾個fidelity、constancy、attraction、repulsion、coherence都可以用相應的數學公式描述，而這些個公式的算術組合就可以構成interaction model。
crowd motion pattern models:
該模型一般適用于過擁擠的環境，這種情況下，目標往往非常集中以至目標太小，表觀等特征根本起不到作用，這時候就場景中特有的運動模式就起到了關鍵作用了。如果目標受到多方作用的話，可以將多方加權進行綜合考慮。
Exclusion Model
這部分主要是指：
1、一個目標只能出現在一條軌跡上
2、 一條軌跡只能對應一個目標，也就是說多個目標不能出現在同一段軌跡上
Occlusion Handling
遮擋問題是多目標跟蹤中的難點。處理遮擋問題的方法包括：
1、Part-to-whole,即將目標分解成若干個部件，當目標被部分遮擋時，還可以通過部件的匹配來推測整體目標的匹配
2、Hypothesize-and-test,假設檢驗的方法根據觀測值去估計目標在其他未被檢測區域是否會發生遮擋的概率，可以說是一種MAP方法
3、Detection-of-occlusion， 有些學者通過直接對遮擋的樣本進行訓練，然后使用分類器去檢測并判斷遮擋區域。
上述4點是最常用的處理遮擋問題的方法，當然還有其他的一些方法，比如在實際應用中也會根據相機位置和區域中心坐標來判斷誰被遮擋了，有時這些策略也會聯合使用。
多目標跟蹤的評價指標
http://www.cnblogs.com/YiXiaoZhou/p/5937980.html
這個網址的內容是根據論文：Evaluating Multiple Object Tracking Performance: The CLEAR MOT Metrics寫的筆記。2008年的，文章還是蠻舊的啦。
對于多目標追蹤問題，我們認為一個理想的評價指標應該滿足下述三點要求：
1、所有出現的目標都要能夠及時找到
2、找到的目標位置要盡可能可真實目標位置一致
3、保持追蹤一致性，避免跟蹤目標的跳變 each object should be assigned a unique track ID which stays constant throughout the sequence.
這三點要求給了設計MOT評價metric的啟發：
1、metrics應該能夠評價tracker輸出結果和真實結果location上的誤差精度
2、metrics應該要能夠反映出tracker長時間持續追蹤目標結構的能力，即追蹤到正確的目標軌跡的能力
另外，關于metric的一般要求：
1、metric參數(包括可調節的閾值等)要盡可能的少，才能使評估過程簡單直接，實驗結果可對比性較強
2、metric要盡可能的直觀，易理解，特別是要容易區分不同類型的誤差
3、metric應具有較強的適應性，對于MOT的評價指標而言要能夠適應2D和3D的不同情況
4、metric的個數要盡可能的少，盡量少的指標卻具有很高的表達能力
論文根據上述的criteria提出了一種MOT問題系統、客觀的評價過程。
常用的數據集和已經存在的公布代碼的方法
常用的數據集：MOTChallenge、KITTI、OTB、VOT等。使用公用的數據集比較好，這樣可以直接對比別人的實驗結果，不用自己重復實驗了。
公開代碼的方法：
就目前來說，公布的跟蹤器代碼太多了，大部分可以通過github找到。
Future directions
1、MOT with video adaptation
大多數基于檢測的MOT方法，往往適用范圍依賴于離線學習獲得的檢測器，所以找到一個通用性更好，即適用于任何數據的MOT方法是一個研究熱點。
2、Balance between crowd density and completeness of objection representation
往往在密集環境中目標都很小，以至于傳統的表觀表示方法鑒別能力很弱，如何才能找到一個對于小目標物體依然具有較強鑒別能力的表示方法仍是個研究方向。
3、MOT under multiple cameras.
多視角的數據能夠恢復立體視覺，更加符合生物視覺
4、Multiple 3D object tracking.
3D目標追蹤，多目視覺能構建3D環境，但構建不了3D目標。
5、MOT with scene understanding
結合場景理解的目標跟蹤問題，比如場景的語義信息。個人感覺這個很有發展空間。
6、MOT with other computer vision tasks.
多個視覺任務相互結合，相輔相成。比如步態識別，姿勢識別和目標跟蹤放在一起處理，信息共享，效果可能也不錯。當然，這個結合性很強啦，因為要把多個視覺任務放在一起處理嘛！
