支持向量
在線性不可分的情況下，對偶問題的解
中對應于alphai>0的樣本點（xi,yi）的實例xi稱為支持向量（軟間隔支持向量）
軟間隔支持向量xi或者在間隔邊界上，或者在間隔邊界和分離超平面之間，或者在誤分類一側。當eta=1時恰好落在分離超平面上
合頁損失函數
對于線性支持向量機學習來說，其模型為分離超平面wx+b=0以及決策函數f(x
)=sign(wx+b)，其學習策略為軟間隔最大化，學習算法為凸二次規劃：
線性支持向量機學習還有另外一種解釋，就是最小化以下目標函數：
目標函數的第一項為經驗損失函數
這就是說，當樣本被正確分類且函數間隔（確信度）y(wx+b)大于1時，損失是0，否則損失是1-y(wx+b)。特別注意間隔邊界到分離平面之間的點損失不是0。第二項是系數為lambda的w的L2范數是正則化項
合頁函數是0-1損失函數推導而來（也是二分類問題真正的損失函數，但不是連續可導的）
