這樣我們可以得到一個帶正則項的損失函數:
可以看到,這個誤差函數中后面一部分與SVM中的目標函數類似,我們再將二次誤差函數替換為?個? -不敏感誤差函數,于是SVR問題可形式為:
? -不敏感誤差函數如下:
通過引入松弛變量的方式,我們可以重新表達最優化問題。對于每個數據點xn,我們現在需要兩個松弛變量,如下圖所示:
目標點位于上圖管道中的條件為:
引入松弛變量之后,在上圖中管道上下兩側的點滿足的條件為:
這樣,支持向量回歸機的優化問題可以寫為:
同樣,使用拉格朗日乘子法將約束條件帶入目標函數中:
同樣使用SVM中求解對偶問題的思路,可以得到:
使用這些結果消去拉格朗日函數中對應的變量,得到SVR的對偶問題:
這樣,得到的SVR回歸模型為: