2019-04-09

1. 線性回歸 (L2-norm)

目標函數：
$L(w) = (Xw - y)^{T}(Xw - y) + \lambda w^{T}w$
最優解： $w = (X^{T}X + \lambda I)^{-1}X^{T}y$

2. 非線性 && 拉伸函數

擬合目標為非線性，例如真實分布如下：
$y = (x, x^{2})(w_1, w_2)^{T} + b$
則在用線性模型擬合時，應考慮將一維 $x \in \mathcal X^{1}$ “拉伸”為二維向量，即對于每個樣本特征從一個標量 $x \in \mathcal X^{1}$ 變換為二維向量 $\phi(x) = (x, x^{2}) \in \mathcal X^{2}$ 。 $\phi(.)$ 稱為拉伸函數。
假設N個訓練樣本，記 $\Phi = \Phi(X) = (\phi(X_1), \phi(X_2), ..., \phi(X_N))^{T}$ ，即對每個樣本特征進行拉伸后的結果。那么最優解為 (式2-2)：
$w = (\Phi^{T}\Phi + \lambda I)^{-1}\Phi^{T}y$
實際上對于不同任務找到合適的拉伸函數 $\phi(.)$ 幾乎是不可能的。所以為了避開這樣的尋找過程，引入“核方法”的技巧。

3. 基本的核方法

（如果沒有“核方法”的話，我們要找到合適的拉伸函數 $\phi(.)$ ，然后還要計算高維向量的內積，如式2-2）
我們首先把這樣的向量內積計算表示為：
$\phi(X_i)^{T}\phi(X_j) = k(X_i, X_j)$
$k(., .)$ 便是所謂的核函數。線性模型的表達式為： $y = \phi(x)^{T}w = w^{T}\phi(x)$

依據式2-2， $w$ 可以表示為 $w = \Phi^{T} \alpha$ (因為都是線性組合?)，結合矩陣乘法 $w$ 可表示為：
$w = \Phi^{T} \alpha = \sum_{i=1}^{N} \alpha_{n} \phi(X_{i})$
其中 $\alpha = (\alpha_{1}, \alpha_{2}, ... , \alpha_{n})^{T}$ .

所以，
$y = w^{T}\phi(x) = \sum_{i=1}^{N} \alpha_{n} \phi(X_{i})^{T} \phi(x) = \sum_{i=1}^{N} \alpha_{n} k(X_i, x)$

下面求未知向量 $\alpha$ ，記 $K = \Phi\Phi^{T}$ ，有
$L(w) = L(\Phi^{T} \alpha) = (\Phi \Phi^{T} \alpha - y)^{T}(\Phi \Phi^{T} \alpha - y) + \lambda (\Phi^{T} \alpha)^{T}(\Phi^{T} \alpha)$
$= (K\alpha - y)^{T}(K\alpha - y) + \lambda \alpha^{T} K \alpha$
$=\alpha^{T} (K^2 + \lambda K) \alpha - 2y^{T}K\alpha + y^{T}y$
有上式對于 $\alpha$ 的偏導等于 $0$ 可得：
$2(K^2 + \lambda K)\alpha -2yK = 0$
計算得： $\alpha = (K + \lambda I)^{-1} y$

4. 小結

應對場景，選用不同得 $k(.,.)$ ，可以在訓練集上計算好 $K, \alpha$ ，就可以構建如下核化的線性模型：
$\hat{y} = w^{T}\phi(x) = \sum_{i=1}^{N} \alpha_{n} \phi(X_{i})^{T} \phi(x) = \sum_{i=1}^{N} \alpha_{n} k(X_i, x)$
其中 $X_{i}$ 為第 $i$ 個訓練樣本， $(x, \hat{y})$ 為測試的輸入輸出對。