1、線性可分到線性不可分
前面我們介紹了線性情況下的支持向量機，它通過尋找一個線性的超平面來達到對數據進行分類的目的。不過，由于是線性方法，所以對非線性的數據就沒有辦法處理了。例如圖中的兩類數據，分別分布為兩個圓圈的形狀，不論是任何高級的分類器，只要它是線性的，就沒法處理，SVM 也不行。因為這樣的數據本身就是線性不可分的。
上面的數據集生成它的時候就是用兩個半徑不同的圓圈加上了少量的噪音得到的，所以，一個理想的分界應該是一個“圓圈”而不是一條線（超平面）。那么上面的兩條二次曲線由下面的公式產生：
我們想要在二維空間中找到一條線將數據分開，是不可能的，但假如我們做如下的變換： 令Z1=X1^2, Z2=X2^2, Z3=X2,我們就能把現在的數據點從二維空間中映射到高維空間中，那么上面的方程在映射后可以轉換為如下的形式（5應該改為3）：
不難看出，在映射之后我們的數據變成線性可分的了，如果將三維空間中的數據點畫出，它大概是下面的樣子，我們可以看到，能夠找到一個超平面，將兩類數據點準確分開：
現在讓我們再回到 SVM 的情形，假設原始的數據時非線性的，我們通過一個映射 ?(?) 將其映射到一個高維空間中，數據變得線性可分了，這個時候，我們就可以使用原來的推導來進行計算，只是所有的推導現在是在新的空間，而不是原始空間中進行。當然，推導過程也并不是可以簡單地直接類比的，例如，原本我們要求超平面的法向量 w ，但是如果映射之后得到的新空間的維度是無窮維的（確實會出現這樣的情況，比如后面會提到的 Gaussian Kernel ），要表示一個無窮維的向量描述起來就比較麻煩。于是我們不妨先忽略過這些細節，直接從最終的結論來分析，回憶一下，我們上一次得到的最終的分類函數是這樣的：
現在則是在映射過后的空間，即：
而其中的 α 也是通過求解如下 dual 問題而得到的：
2、核函數(Kernel Function)
這樣一來問題就解決了嗎？似乎是的：拿到非線性數據，就找一個映射 ?(?) ，然后一股腦把原來的數據映射到新空間中，再做線性 SVM 即可。其實剛才的方法稍想一下就會發現有問題：在最初的例子里，我們對一個二維空間做映射，選擇的新空間是原始空間的所有一階和二階的組合，得到了五個維度；如果原始空間是三維，那么我們會得到 19 維的新空間，這個數目是呈爆炸性增長的，這給 ?(?) 的計算帶來了非常大的困難，而且如果遇到無窮維的情況，就根本無從計算了。所以就需要 Kernel 出馬了。
假設我們現在的二次曲線的方程為：
此時我們需要構造一個五維空間進行映射，令Z1=X1, Z2=X1^2, Z3=X2, Z4=X2^2, Z5=X1X2，假設此時有兩個數據點：x1=(η1,η2)T 和 x2=(ξ1,ξ2)T ，而 ?(?) 即是到前面說的五維空間的映射，因此映射過后的內積為：
另外，我們注意到有這么一個公式：
二者有很多相似的地方，實際上，我們只要把某幾個維度線性縮放一下，然后再加上一個常數維度，具體來說，如果將映射的方式改變一下，變為下面的形式，再計算內積的時候，得到的結構就與上面的式子相同：
可以看到上面兩種方法得到了同樣的結果，但區別是什么呢，一個是先將低維空間中的數據點映射到了高維空間中，另一種方式是直接在原來的地位空間中進行運算，對運算結果又進行了一定的處理。回憶剛才提到的映射的維度爆炸，在前一種方法已經無法計算的情況下，后一種方法卻依舊能從容處理，甚至是無窮維度的情況也沒有問題。
我們把這里的計算兩個向量在映射過后的空間中的內積的函數叫做核函數 (Kernel Function) ，例如，在剛才的例子中，我們的核函數為：
核函數能簡化映射空間中的內積運算——剛好“碰巧”的是，在我們的 SVM 里需要計算的地方數據向量總是以內積的形式出現的。對比剛才我們寫出來的式子，現在我們的分類函數為：
而求解α的規劃問題變為：
這樣一來計算的問題就算解決了，避開了直接在高維空間中進行計算，而結果卻是等價的，實在是一件非常美妙的事情！當然，因為我們這里的例子非常簡單，所以我可以手工構造出對應于 φ(?) 的核函數出來，如果對于任意一個映射，想要構造出對應的核函數就很困難了。
最理想的情況下，我們希望知道數據的具體形狀和分布，從而得到一個剛好可以將數據映射成線性可分的 ?(?) ，然后通過這個 ?(?) 得出對應的 κ(?,?) 進行內積計算。然而，第二步通常是非常困難甚至完全沒法做的。不過，由于第一步也是幾乎無法做到，因為對于任意的數據分析其形狀找到合適的映射本身就不是什么容易的事情，所以，人們通常都是“胡亂”選擇映射的，所以，根本沒有必要精確地找出對應于映射的那個核函數，而只需要“胡亂”選擇一個核函數即可——我們知道它對應了某個映射，雖然我們不知道這個映射具體是什么。由于我們的計算只需要核函數即可，所以我們也并不關心也沒有必要求出所對應的映射的具體形式。
當然，說是“胡亂”選擇，其實是夸張的說法，通常人們會從一些常用的核函數中選擇（根據問題和數據的不同，選擇不同的參數，實際上就是得到了不同的核函數），例如：
最后，總結一下：對于非線性的情況，SVM 的處理方法是選擇一個核函數 κ(?,?) ，通過將數據映射到高維空間，來解決在原始空間中線性不可分的問題。由于核函數的優良品質，這樣的非線性擴展在計算量上并沒有比原來復雜多少，這一點是非常難得的。當然，這要歸功于核方法——除了 SVM 之外，任何將計算表示為數據點的內積的方法，都可以使用核方法進行非線性擴展。
3、核函數的選擇問題
之前在面試今日頭條算法工程師的時候，被問到了常用的核函數如何選擇的問題，根據網上的答案，總結如下：
在選取核函數解決實際問題時，通常采用的方法有：一是利用專家的先驗知識預先選定核函數；二是采用Cross-Validation方法，即在進行核函數選取時，分別試用不同的核函數，歸納誤差最小的核函數就是最好的核函數．如針對傅立葉核、RBF核，結合信號處理問題中的函數回歸問題，通過仿真實驗，對比分析了在相同數據條件下，采用傅立葉核的SVM要比采用RBF核的SVM誤差小很多。
在我的研究做實驗過程中，最常用的是Linear核與RBF核。
1）. Linear核：主要用于線性可分的情形。參數少，速度快，對于一般數據，分類效果已經很理想了。
2）. RBF核（高斯核）：主要用于線性不可分的情形。參數多，分類結果非常依賴于參數。有很多人是通過訓練數據的交叉驗證來尋找合適的參數，不過這個過程比較耗時。我個人的體會是：使用libsvm，默認參數，RBF核比Linear核效果稍差。通過進行大量參數的嘗試，一般能找到比linear核更好的效果。
