支持向量機（SVM）

都說SVM有三寶：間隔、對偶、核技巧

支持向量機模型大致分為三種如下圖1所示。后文我們一一介紹。
圖1

1.線性可分SVM

感知機找出將線性可分?jǐn)?shù)據(jù)劃分開的超平面，線性可分SVM是在尋找最優(yōu)的那一條！

1.1 幾何角度看線性可分SVM

對與如圖2所示的線性可分?jǐn)?shù)據(jù)集，我們需要找一條可以將數(shù)據(jù)分開的直線，這樣的直線有很多。那么如何找到最優(yōu)的那一條呢？
圖2

圖2所示的兩個超平面都可以將訓(xùn)練數(shù)據(jù)劃分開，但是如果測試數(shù)據(jù)上出現(xiàn)了圖3的情況，綠線所示的超平面依然可以將數(shù)據(jù)劃分開，但是黑線所示的超平面的測試誤差就沒那么好了。
圖3

1.2 轉(zhuǎn)化為數(shù)學(xué)優(yōu)化問題

我們通常使用硬間隔最大化的策略，下面我們進行推導(dǎo)：
設(shè)訓(xùn)練集為(x_i,y_i)\in D,超平面為w^Tx_i + b = 0我們的目的就是找到最優(yōu)的w^T和b。
首先該超平面需要滿足條件：
\begin{align} w^Tx_i +b>0,y_i&=+1 \\ w^Tx_i +b<0,y&=-1 \end{align} \rightarrow y_i (w^Tx_i+b)>0
設(shè)：\exists \alpha >0 \ s.t \ y_i (w^Tx_i+b)\ge \alpha

則：\frac {1}{\alpha}y_i (w^Tx_i+b)\ge \frac {\alpha}{\alpha}

即：y_i (\frac {1}{\alpha}w^Tx_i+\frac {1}{\alpha}b)\ge+1

令：\frac {1}{\alpha}w^T= w^T, \frac {1}{\alpha}b =b

得：y_i (w^Tx_i+b)\ge +1 .........公式(1)

d=\frac {1}{||w||}|w^Tx_i+b|為點到超平面的距離，距離超平面最近的點使得上式(1)等號成立。這些點稱為支持向量，兩個異類到超平面的距離的和為\frac {2}{||w||}我們稱他為間隔。所以最大間隔策略可以表示為Max\frac {2}{||w||}等價于Min{||w||} \rightarrow Min(ww^T ) 所以優(yōu)化問題轉(zhuǎn)化為：
Min(ww^T )\ s.t \ y_i (w^Tx_i+b)\ge1

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

推薦閱讀更多精彩內(nèi)容