SVM
1995 年, 基于統計學習的理論基礎發展出了一種新的通用的學習方法——支持向量機 (SVM). 可以說 SVM 是統計學習理論在算法領域應用的集中體現. SVM 的提出, 一舉解決了第二代神經網絡的結構選擇和局部最小值 (過擬合與欠擬合) 等問題, 使第二代神經網絡的發展進入了又一個低潮期. 以統計學習方法為基礎的 SVM 被應用于機器學習的各個領域, 成為最通用的萬能分類器.
線性支持向量機
有 ,
, 數據空間
. 以下
, 分離超平面為
SVM 的目的是最大化間隔 (margin), 對于線性可分的數據集, 模型假設為
考慮到存在線性不可分的數據集, 引入了變量 , 且
表示點
到離它最近的邊界的距離, 模型便改寫為
在學術上預測損失 , 被稱為 hinge loss,
被稱為線性整流函數 (ReLU).
因而, 此時的 SVM 可以看作為正則項為 范數, 激活函數為 ReLU 的單層神經網絡模型(與其他模型不同的是 SVM 的正則項是不能省略的). 此時的 SVM 被稱為線性 SVM.
更多內容見 SVM
