都說SVM有三寶:間隔、對偶、核技巧
圖1
1.線性可分SVM
感知機找出將線性可分?jǐn)?shù)據(jù)劃分開的超平面,線性可分SVM是在尋找最優(yōu)的那一條!
1.1 幾何角度看線性可分SVM
對與如圖2所示的線性可分?jǐn)?shù)據(jù)集,我們需要找一條可以將數(shù)據(jù)分開的直線,這樣的直線有很多。那么如何找到最優(yōu)的那一條呢?圖2
圖2所示的兩個超平面都可以將訓(xùn)練數(shù)據(jù)劃分開,但是如果測試數(shù)據(jù)上出現(xiàn)了圖3的情況,綠線所示的超平面依然可以將數(shù)據(jù)劃分開,但是黑線所示的超平面的測試誤差就沒那么好了。
圖3
1.2 轉(zhuǎn)化為數(shù)學(xué)優(yōu)化問題
我們通常使用硬間隔最大化的策略,下面我們進行推導(dǎo):
設(shè)訓(xùn)練集為,超平面為
我們的目的就是找到最優(yōu)的
和
。
首先該超平面需要滿足條件:
設(shè):
則:
即:
令:
得: .........公式(1)
=
為點到超平面的距離,距離超平面最近的點使得上式(1)等號成立。這些點稱為支持向量,兩個異類到超平面的距離的和為
我們稱他為間隔。所以最大間隔策略可以表示為
等價于
所以優(yōu)化問題轉(zhuǎn)化為: