[機器學習入門] 李宏毅機器學習筆記-27（Structured SVM part 2；結構化支持向量機 part 2）
| VIDEO |
|---|
Structure SVM
接上篇
Regularization
番外篇：
當我坐在杭州夢想小鎮的咖啡廳學習到此處時，一位中年大叔說很喜歡我的形象希望給我拍照，我一愣心想這大叔真是有眼光啊，咱這形象終于得到了藝術圈的認可，沒想到大叔滿面春光地翻出一個巨大的相機包，擺滿了各種鏡頭，看這架勢仿佛自己要登上男人裝封面了。大叔笑瞇瞇地對我說，你繼續工作就好。OK，it's fine，我的machine learning正在呼喚我,坐懷不亂學習正是我們老柳家的傳統。平靜，平靜，再平靜…不好意思我沒平靜地下來，大叔的快門四面八方地咔嚓，咔嚓就咔嚓吧，奇怪咱這顏值難道不是隨便角度都能成大片嗎？可是大叔一邊拍一邊皺眉頭嘆氣…wtf，就不能贊美我一下下嗎，還嫌我黑用手機閃光燈給我補光，二十多分鐘后終于結束了，總之還是挺nice的哈哈哈。好吧，你若問我為什么要說這么多廢話，因為我實在不知道拍照敲鍵盤時該寫點啥，不如做個即時的心情記錄吧哈哈。
收住，回歸正題。
Structured SVM
好了，那么接著來看究竟SVM是怎么體現的。對已知的cost function做兩個變換，藍綠兩個框雖然是不一樣的，但我們有要minimize C的條件，所以Cn正好等于minimize的值就好，就可以認為兩式一樣。
所以下圖藍綠兩框的find任務是等價的，習慣上會把Cn換成籃筐Slack variable表示。
所以黃框就是我們求解的問題，接著利用 y = y^ 時的特殊情況，對for all y 做一下變換。
對于上面這個變換還有一個更直觀的理解，如果兩個答案的差越大，margin越大，反之越小，即為△,所有不等的情況都能寫一個不等式。
尋找一個w滿足所有不等式，很可能是一個空集，所以我們要把margin變小限制放寬，而且放寬的應該是恰到好處的，方法就是減去一個 ε （大于等于0）。
但是并不能無限放寬限制，那樣margin都成負的了，秉持恰到好處的原則，ε要越小越好。在滿足下面不等式的情況下， 希望ε的sum是最小的。這樣得到了原式子，Solve it by the solver in SVM package。
Cutting Plane Algorithm for Structured SVM
上述問題有一個很大的困擾，constraints太多了，幾千萬幾億怎么辦？先看一下我們究竟要解決一個怎樣的問題，在三維坐標系中，constraints給劃定了很多區域，規定了只有固定區域才是可行的，這就給尋找最小值增大了難度。
于是，Cutting Plane Algorithm能幫我們解決這個問題，顏色的深淺代表值的大小，如果成功構建，就很容易找到那個最小值。
constraints的特點是，冗員很多，真正起作用的不多，如果我們有辦法找到working set，該問題就是可解的，只要考慮working set中的y就可以了，然后即得到一個w，用這個w找一些新的成員加入working set，然后再循環解決。
怎樣用這個w找一些新的成員加入working set？
找出最不滿足的constraints。
通過它們的交點，不斷找出最小值，和最不滿足的constraints，循環。
怎樣找出最不滿足的constraint呢？
好了，讓我們看看整體運作起來是什么樣子的。
QP：Quadratic Programming
Example：
加入一組working set
現在就有了一個具有兩個constraints的QP問題，解出后更新w。
本節未完待續
