支持向量機算法support vector machine(SVM),被視為感知器perceptron的擴展。perceptron的目的是最小化代價函數計算出來的誤差,而SVM的思想是最大化邊界(Margin),邊界是分類的超平面和對應類別最近的樣本點之間的距離
支持向量圖示
大的邊界意味著泛化能力很強
Paste_Image.png
處理非線性可分的情況
引進松弛變量(slack variables),這個變量來調節對于誤差的容忍度
Paste_Image.png
Paste_Image.png
對比線性SVM和Logistic回歸
Logistic回歸是最大化似然函數
SVM關注的是決定決策邊界的支持向量