科研:
一、什么是SVM?——支持向量機
請看:簡之在知乎上對SVM的回答(能讓5歲的小孩子看懂。。。)
視頻可以戳:youtube.com/watch?v=3liCbRZPrZA
二、hand-crafted feature(引用于紫de甘藍的博客)
特征提取是CV領域核心問題之一(之二自然是分類問題,沒有之三~),特征提取從思路上有兩大類:一類是手動設計(hand crafted)的方式,一類是純學習的方式,這兩種方式都是在某些生物神經理論的基礎下進行的, 不同之處是hand crafted的方式設計的是特征本身,而純學習的方式設計的是特征提取的框架結構。換種方式來說,就好比是hand crafted特征是模仿我們所知的人類視覺的流程得到特征,而純學習的方式重點是學習這個流程本身。
這里都是針對無監督(unsupervised)的特征,也就是在沒有label的情況下,直接從數據中學習特征,如果是結合label的特征學習就是supervised的特征了。
兩種方式稍微具體點的對比:
@hand crafted的特征:
顧名思義人為設計的特征,即直接設計特征本身,根據仿照人類視覺的特點對什么樣的特征敏感,什么樣的特征不敏感提取圖像中有區分能力的特征,因此提取出來的特征每一維往往都有具體的物理含義。目前最牛X的hand crafted 的特征常見的有反應紋理特點的方向梯度類特征sift,surf,hog等,反應輪廓形狀的shape context等,它們都是經過了很長的時間對人眼敏感信息的特點設計出來的,如果把所需學習的目標換成視頻,則也同樣需要把這些算法擴展到3D,比如HOG3D,3Dsurf。這些基本屬于底層視覺特征,理論依據一般是V1區視覺特性。著名的稀疏編碼(Sparse coding) 也是根據V1區視覺特性構造的特征表示方法。
hand crafted的特征的缺點:
需要根據數據的特點精心設計,雖然是在眾多的視覺神經理論依據下,但是難免有人為的想當然的成分。
往往依賴于數據庫,也就是說設計的特征只對某些數據庫表現好,而對其它的數據庫效果并不能保證就好?;蛘弋敯褦祿碓窗l生變化,比如對RGB數據設計的特征換成Kinect深度圖像,這些特征點就不一定適應了,因此又得重新設計。
提取過程所花時間很長,不利用大數據特征的提?。菜撇灰欢▽Γ?。
@Feature learning純學習的方式:
設計的是特征提取的規則,一般就是一個model,如神經網絡,人為設計的部分是model的結構以及學習的規則,至于model的參數則需要通過學習得到,通過訓練得到一個具體的model,而特征則需要通過這個model去對具體的圖像或視頻提取,因此得到的特征往往無法解釋具體每一維的物理含義。構建人的思考過程,這是神經網絡理論提出的初衷。神經網絡方法在沉默了若干年后,在堅持如一,鍥而不舍的大牛Hinton的引領下進入了一個全面開花的階段,deep learning, Deep belief nets被研究的如火如荼。deep learning框架就是模擬人腦的大腦皮層工作(生物神經理論上的支持),因為大腦皮層的視覺區域也是分層次工作的,越底層的視覺皮層對那些底層特征就越敏感,Feature learning就是以deep learning框架下學習圖像或視頻的特征,系統的輸入為raw data,你只要設計好model的框架,通過訓練得到model的參數,至于特征學習出來是什么樣子,完全交給機器。
至于feature learning學習到的特征和 hand crafted特征孰優孰劣目前還不好下結論