[機器學習入門] 李宏毅機器學習筆記-23（Support Vector Machine；支持向量機）
| VIDEO |
|---|
Support Vector Machine
Outline
這里寫圖片描述
Hinge Loss
Binary Classification
分為三步。
δ不可微分，所以變化一下。
這里寫圖片描述
step 2 ：Loss function
紅色這條線就是Square Loss的表現，與黑色的理想loss曲線比較，當x很大是，將會取得很大的值，這是不合理的，既然如此，我們再試一下Square Loss+cross entropy。
這里寫圖片描述
藍色這條線就是Sigmoid+Square loss，但是實際上，Square的performance并不好，用cross entropy更合理，就是綠色那條線，當橫坐標趨近無窮大時，趨近于0，如果負無窮，則會無窮大。比較一下藍綠兩條線，如果我們橫坐標，從-2移到-1，綠色這條線變化很大，藍色反之，造成的效果就是，橫坐標非常negative時，綠色調整參數可以取得較好的回報，所以它很樂意把negative的值變大，而藍色反之，很懶惰。
這里寫圖片描述
而Hinge Loss為紫色線表示。
這里寫圖片描述
如果比較紫綠兩條線，它們最大的不同就是對待做得好的example的態度，如果把橫坐標從1挪到2，對綠色來說它會有動機把橫坐標變得更大，而紫色對此的態度是及格就好，不會再努力變大。
Linear SVM
Compared with logistic regression, linear SVMhas different loss function
這里寫圖片描述
Linear SVM – gradient descent
SVM通常不用gradient descent做，但也是可以做的。
這里寫圖片描述
Linear SVM – another formulation
這里寫圖片描述
Kernel Method
Dual Representation
這里寫圖片描述
這里寫圖片描述
我們只需要能算出K（x，z）就可以了，這就是Kernel Trick。
Kernel Trick
這里寫圖片描述
這里寫圖片描述
這里寫圖片描述
Radial Basis Function Kernel
衡量x與z的相似度，在無窮多維上去做事情
這里寫圖片描述
Sigmoid Kernel
這里寫圖片描述
這里寫圖片描述
SVM related methods
* Support Vector Regression (SVR)
[Bishop chapter 7.1.4]
* Ranking SVM
[Alpaydin, Chapter 13.11]
* One-class SVM
[Alpaydin, Chapter 13.11]
SVM vs Deep Learning
這里寫圖片描述
