一. SVM的種類
第一種可以用一條線完全劃分超平面百分之百分對(duì)；第二種不存在一個(gè)超平面全部分對(duì)，允許部分分錯(cuò)。
二. SVM在做什么？
(1,-2)是法線方向，法線正方向表示+，負(fù)方向表示-。f((0,0)) = 2>0是在法線的正方向的。同時(shí)可以根據(jù)點(diǎn)到直線的距離公式計(jì)算點(diǎn)(x1,x2)，到該直線的距離。
對(duì)于一個(gè)樣本點(diǎn)(X1,X2,1), 可以將距離公式轉(zhuǎn)換如上，因?yàn)閥(i)與(Wt*X(i)+b)符號(hào)，始終相同，所以可將原來(lái)的絕對(duì)值形式，轉(zhuǎn)換為該種形式。
SVM找出最佳的分割線！做法：給定w,b ，也就是已知這條分割線的方程，再求樣本中到該分割線距離最小的那個(gè)點(diǎn)到這個(gè)線的距離dmaxmin。然后換不同的w,b，也就是換不同的分割線來(lái)試，繼續(xù)計(jì)算出它們的dmaxmin。最后看哪個(gè)值最大，就選那個(gè)值對(duì)應(yīng)的分割線。
線性可分支持向量機(jī)，fai x，將原本的x1,x2,轉(zhuǎn)換成x1,x2,x1x2,x1**2,x2**2，映射到更高的維度，也就是增加了特征的數(shù)量。
整理的符號(hào)
三. 推導(dǎo)目標(biāo)函數(shù)
一般α在s.t條件小于等于0時(shí)取負(fù)，而此處條件大于等于0，所以要加負(fù)號(hào)
之后將算出來(lái)的w與b帶回原式
四. 線性支持向量機(jī)
有時(shí)候需要放棄一些樣本，才會(huì)讓margin更大，效果越好。
每個(gè)樣本的ξ不一樣
