支持向量機(SVM)

都說SVM有三寶:間隔、對偶、核技巧

支持向量機模型大致分為三種如下圖1所示。后文我們一一介紹。
圖1

1.線性可分SVM

感知機找出將線性可分?jǐn)?shù)據(jù)劃分開的超平面,線性可分SVM是在尋找最優(yōu)的那一條!

1.1 幾何角度看線性可分SVM

對與如圖2所示的線性可分?jǐn)?shù)據(jù)集,我們需要找一條可以將數(shù)據(jù)分開的直線,這樣的直線有很多。那么如何找到最優(yōu)的那一條呢?
圖2

圖2所示的兩個超平面都可以將訓(xùn)練數(shù)據(jù)劃分開,但是如果測試數(shù)據(jù)上出現(xiàn)了圖3的情況,綠線所示的超平面依然可以將數(shù)據(jù)劃分開,但是黑線所示的超平面的測試誤差就沒那么好了。
圖3

1.2 轉(zhuǎn)化為數(shù)學(xué)優(yōu)化問題

我們通常使用硬間隔最大化的策略,下面我們進行推導(dǎo):
設(shè)訓(xùn)練集為(x_i,y_i)\in D,超平面為w^Tx_i + b = 0我們的目的就是找到最優(yōu)的w^Tb
首先該超平面需要滿足條件:
\begin{align} w^Tx_i +b>0,y_i&=+1 \\ w^Tx_i +b<0,y&=-1 \end{align} \rightarrow y_i (w^Tx_i+b)>0
設(shè):\exists \alpha >0 \ s.t \ y_i (w^Tx_i+b)\ge \alpha

則:\frac {1}{\alpha}y_i (w^Tx_i+b)\ge \frac {\alpha}{\alpha}

即:y_i (\frac {1}{\alpha}w^Tx_i+\frac {1}{\alpha}b)\ge+1

令:\frac {1}{\alpha}w^T= w^T, \frac {1}{\alpha}b =b

得:y_i (w^Tx_i+b)\ge +1 .........公式(1)

d=\frac {1}{||w||}|w^Tx_i+b|為點到超平面的距離,距離超平面最近的點使得上式(1)等號成立。這些點稱為支持向量,兩個異類到超平面的距離的和為\frac {2}{||w||}我們稱他為間隔。所以最大間隔策略可以表示為Max\frac {2}{||w||}等價于Min{||w||} \rightarrow Min(ww^T ) 所以優(yōu)化問題轉(zhuǎn)化為:
Min(ww^T )\ s.t \ y_i (w^Tx_i+b)\ge1

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

推薦閱讀更多精彩內(nèi)容