機器學習基礎

預備知識

令 $\mathcal{I}$ 表示輸入數據 $x$ 的數據空間, 被稱為輸入空間 (input space). $\phi$ 是一個映射, 令 $\mathcal{F} = \mathcal{I}^{**}$ 表示特征空間 (feature space).

數據實例 $x$ 可以任意對象, 如文本, 序列, 圖像, 字符串等;
對于給定的數據實例 $x$ , $\phi(x)$ 是一個向量, 被稱為特征向量.

內積運算 $K: \mathcal{I \times I} → \mathbb{R}$ 定義為 $\mathcal{I}$ 上的核函數 為 , 即
$? x_i, x_j \in \mathcal{I}, \; K(x_i,x_j) = ?\phi(x_i),\phi(x_j)?$

令 $D= \{x_i\}_{i=1}^n \subset \mathcal{I}$ 為輸入空間中包含 $n$ 個對象的數據集, 則將 $D$ 中的點對間的核函數 (亦稱為相似度函數, 或核) 表示為一個 $n \times n$ 的核矩陣, 定義為
$\mathbf{K} = \begin{pmatrix} K(x_1,x_1) & K(x_1,x_2) & \cdots & K(x_1,x_n) \\ K(x_2,x_1) & K(x_2,x_2) & \cdots & K(x_2,x_n) \\ \vdots & \vdots & \ddots & \vdots\\ K(x_n,x_1) & K(x_n,x_2) & \cdots & K(x_n,x_n) \\ \end{pmatrix}$

核方法避免了顯式地將輸入空間中的每個點 $x$ 變換到特征空間中的映射點 $\phi(x)$ , 而是直接通過核矩陣來獲取. 這樣，所有的相關分析均可轉移到對核矩陣的研究上來. 當然, 核矩陣也可以看作對應 $n$ 個輸入點的完全圖的帶權鄰接矩陣.

對于輸入空間中的任一 $x \in \mathcal{I}$ , 都被映射到如下函數 (被稱為再生核映射):
$\phi(x) = K(x,\cdot)$
其中 $\cdot$ 代表 $\mathcal{I}$ 中任一參數. 這意味著輸入空間中的每一個對象 $x$ 都映射到一個特征點 $\phi(x)$ , 該特征點事實上是一個函數 $K(x,\cdot)$ , 代表了該點與輸入空間 $\mathcal{I}$ 中其他點的相似度.

令
$\begin{aligned} \mathcal{F} &= \operatorname{span} \{K(x,?): x \in \mathcal{I}\}\\ &= \{ \mathbf{f} = f(\cdot) = \displaystyle\sum_{i=1}^m α_iK(x_i,?):m \in \mathbb{N}, α_i \in ?, \{x_1,x_2,\cdots,x_m \} ? \mathcal{I} \} \end{aligned}$
代表能夠由特征點的任意子集的線性組合得到的所有函數點或點的集合.

對于 $\mathbf{f,g} \in \mathcal{F}$ 為特征空間中任意兩點:
$\mathbf{f} = \displaystyle\sum_{i=1}^{m_a} α_iK(x_i, ?), \mathbf{g} = \displaystyle\sum_{j=1}^{m_b} β_iK(x_j, ?)$
定義這兩個點的內積為
$?\mathbf{f,g}? = \displaystyle\sum_{i=1}^{m_a}\sum_{j=1}^{m_b}α_iβ_jK(x_i,x_j)$

易證 $\mathcal{F}$ 是希爾伯特空間, $\mathcal{F}$ 具有再生性質 (reproducing property), 即可以通過取 $\mathbf{f}$ 和 $\phi(x)$ 的內積來計算一個函數 $f(?)$ 在一個點 $x\in \mathcal{I}$ 上的值:
$?f(?),\phi(x)? = \displaystyle\sum_{j=1}^{m_a} α_i K(x_i,x) = f(x)$
由此, $\mathcal{F}$ 也被稱為再生希爾伯特空間.

再生核映射 $\phi$ 將輸入空間映射到一個可能是無限維的特征空間中, 然而, 給定一個數據集 $D = \{x_i\}_{i=1}^n$ , 可以只計算 $D$ 中的點核, 從而得到一個有限維的映射, 即定義經驗核映射 $\phi$ 如下:
$\phi(x) = \mathbf{K}^{-\frac{1}{2}}[K(x_1,x); K(x_2,x); \cdots; K(x_n,x)] \in \mathbb{R}^n$

故而
$\phi(x_i)^T\phi(x_i) = \mathbf{K}_i^T\mathbf{K}^{-1}\mathbf{K}_j$
其中 $\mathbf{K}_i$ 代表核矩陣 $\mathbf{K}$ 的第 $i$ 列.

設 $α = [α_1;α_2;\cdots;α_b]$ 為參數向量, 基函數向量為 $\phi(x) = [\phi_1(x);\phi_2(x);\cdots;\phi_b(x)]$

在統計學中, 通常把基于參數的線性模型稱為參數模型, 把核模型稱為非參數模型.
與參數相關的非線性模型, 稱為非線性模型 (如層級模型).

線性模型:

$f_{α}(x) = \displaystyle\sum_{j=1}^b α_j \,\phi_j(x) = α^T\phi(x)$

層級模型:

$f_{α}(x) = \displaystyle\sum_{j=1}^b α_j \,\phi(x;\beta_j) = α^T\phi(x;\beta)$

其中, $\phi(x;\beta_j)$ 是含有參數 $\beta = [\beta_1;\beta_2; \cdots;\beta_b]$ 的基函數.

若基函數 $\phi_i(x) = \phi(x,x_i)$ 內積運算, 則可將線性模型轉換為核模型;把 $\phi(x;\beta_j)$ 替換為核函數, 則是核模型; 把 $\beta$ 當作超參數, 則是線性模型.

最小二乘學習法 (Least Squares)

模型假設: $D ? \mathbb{R}^d$ , 定義損失函數為
$J_{LS}(\alpha) = \frac{1}{2} \displaystyle\sum_{i=1}^n (f_{\alpha}(x_i) - y_i)^2$

學習目標:
$\hat{\alpha}_{LS} = \underset{\alpha}{\arg\min} \; J_{LS}$

如果使用線性模型的話, $J_{LS}$ 可以轉換為
$J_{LS}(\alpha) = \frac{1}{2} ||\Phi\alpha - y||^2$

這里 $y=[y_1;y_2;\cdots;y_n]$ , $\Phi$ 被稱為設計矩陣:
$\Phi = \begin{pmatrix} \phi_1(x_1) & \cdots & \phi_b(x_1)\\ \vdots & \ddots & \vdots\\ \phi_1(x_n) & \cdots & \phi_b(x_n) \end{pmatrix}$

由 $?_{\alpha} J_{LS} = \Phi^T\Phi\alpha - \Phi^T y = 0$ , 便得出最小二乘解
$\Phi^T\Phi\alpha = \Phi^T y$
亦即
$\hat{α}_{LS} = \Phi^{\dagger}y$

其中 $\Phi^{\dagger}$ 表示 $\Phi$ 的偽逆, 若 $\Phi^T\Phi$ 可逆時, 有 $\Phi^{\dagger} = (\Phi^T\Phi)^{-1} \Phi^T$ .

帶有約束條件的最小二乘學習法

可微分的凸函數 $f: \mathbb{R}^d → \mathbb{R}$ 和 $g: \mathbb{R}^d → \mathbb{R}^p$ 的約束條件的最小化問題

$\begin{cases} \underset{t}{\min} &f(t)\\ \operatorname{s.t.}& g(t) \preceq 0 \end{cases}$
的拉格朗日對偶問題, 可以使用拉格朗日乘子 $λ = (λ_1,\cdots,λ_p)^T$ 和拉格朗日函數
$L(t,λ) = f(t) + λ^Tg(t)$
采用以下方式進行定義:
$\begin{cases} \displaystyle\max_{λ} \inf_{t}& L(t,λ)\\ \operatorname{s.t.}& λ \succeq 0 \end{cases}$
拉格朗日對偶問題的 $t$ 的解, 與原問題的解是一致的.

下面探討線性模型:
$f_{\theta}(x) = θ^T\phi(x)$
的帶約束的最小二乘法.

部分空間約束

約束條件
$P\theta = \theta$

這里, $P$ 滿足 $P^2=P, P^T=P\in ?^{b×b}$ , 表示 $P$ 的值域 $\mathcal{R}(P)$ 的正交投影矩陣. 約束條件 $P\theta = \theta$ 使得參數 $\theta$ 不會偏移值域 $\mathcal{R}(P)$ 的范圍外.

該問題的最小二乘解為
$\hat{\theta} = (\Phi P)^{\dagger}y$

$l_2$ 約束

約束條件
$||\theta||^2 \leq R$
是以參數空間的圓點為圓心, 在一定半徑范圍的超球內進行求解的. 利用其拉格朗日對偶問題為
$\begin{cases} \displaystyle\max_{λ} \min_{t}& J_{LS}(\theta) + \frac{λ}{2}(||\theta||^2 - R) \\ \operatorname{s.t.}& λ \succeq 0 \end{cases}$
該問題的最小二乘解為
$\hat{\theta} = (\Phi^T\Phi + λ I)^{-1}\Phi^Ty$

矩陣 $\Phi^T\Phi + λ I$ 提高了其正則性, 進而可以更穩定地進行逆矩陣的求解. 因此, $l_2$ 約束的最小二乘法也稱為 $l_2$ 正則化的最小二乘法或稱為嶺回歸.

將約束條件改為
$\theta^TG\theta \leq R$
稱為一般 $l_2$ 約束的最小二乘法. 當矩陣 $G$ 為正定矩陣時, $\theta^TG\theta \leq R$ 可以把數據限制在橢球內.
該問題的最小二乘解為
$\hat{\theta} = (\Phi^T\Phi + λ G)^{-1}\Phi^Ty$

稀疏學習

模型假設:

模型假設: $D ? \mathbb{R}^d$ , 定義損失函數為
$J_{LS}(\theta) = \frac{1}{2} ||\Phi\theta - y||^2$

學習目標:
$\hat{\theta}_{LS} = \underset{\alpha}{\arg\min} \; J_{LS}$
約束條件為
$||\theta||_1 \leq R$

對于 $l_1$ 范數的處理, $c_j > 0$
$|\theta_j| \leq \frac{\theta_j^2}{2c_j} + \frac{c_j}{2}$
即使用可微分的二次函數來控制 $l_1$ 范數
原問題可化為
$\hat{\theta} = \underset{\theta}{\arg\min} \tilde{J}(\theta)$
其中
$\tilde{J}(\theta) = J_{LS}(\theta) + \frac{λ}{2} \theta^T \circledS^{\dagger} \theta + C$

$\circledS$ 是對角元為 $\tilde{\theta_1}, \cdots, \tilde{\theta_b}$ 的對角矩陣, $C = \sum_{j=1}^b \frac{\tilde{\theta_j}}{2}$ 是不依賴于 $\theta$ 的常數.

對于有參數的線性模型 $f_{\theta} = \theta^T\phi(x)$
該問題的最小二乘解為
$\hat{\theta} = (\Phi^T\Phi + λ \circledS^{-1})^{-1}\Phi^Ty$

使用隨機梯度下降法求解

對于有參數的線性模型 $f_{\theta} = \theta^T\phi(x)$ , 使用隨機選擇的樣本 $(x,y)$ 按下式對其參數進行更新:
$\theta ← \theta - ε \phi(x)(f_{\theta}(x)-y)$
為了得到隨機梯度下降法的稀疏解, 建議在多次進行梯度下降的過程中, 對各個參數值 $\theta_j$ 進行如下的值域處理
$? j =1, \cdots, b,\;\;\theta ←\begin{cases} \max(0,\theta_j - λε) & (\theta_j > 0)\\ \max(0,\theta_j + λε) & (\theta_j \leq 0) \end{cases}$

$l_p$ 約束的最小二乘法

$?p \geq 0$ , 約束條件是
$||\theta||_p = (\displaystyle\sum_{j=1}^b |\theta_j|^p)^{\frac{1}{p}} \leq R$

$p=∞$ , $||\theta||_{∞} = \max_j{|\theta_j|}$
$p=0$ , 有

$||\theta||_0 = \displaystyle\sum_{j=1}^b δ(\theta_j \neq 0)$

其中
$δ(\theta_j \neq 0) = \begin{cases} 1 & (\theta_j \neq 0)\\ 0 &(\theta_j = 0) \end{cases}$
也就是說, $l_0$ 范數表示的是非零的向量的元素個數.

詳細見彈性網回歸學習法.

魯棒學習

在統計學和機器學習領域, 對異常值也能保持穩定、可靠的性質, 稱為魯棒性.

當訓練樣本中混入了異常值時往往希望采用先除去這些異常值再進行學習的方法 (異常檢驗), 或者采用保留異常值, 但結果不易受異常值影響的方法 (魯棒學習方法).

$l_1$ 損失最小化學習

最小二乘學習中, 對訓練樣本的合理性, 一般使用 $l_2$ 損失 $J_{LS}(\theta)$ 來測定.
$J_{LS}(\theta) = \frac{1}{2} \displaystyle\sum_{i=1}^n r_i^2$
這里 $r_i = f_{\theta}(x_i) - y_i$ 為殘差. 但是 $l_2$ 損失對異常值很敏感, 故而可以使用 $l_1$ 損失對殘差的增幅加以抑制
$J_{LA} = \displaystyle\sum_{j=1}^n |r_j|$
這里 $LA$ 是 Least Absolute 的縮寫.

Huber 損失最小化學習

Huber 損失
$\rho_{\operatorname{Huber}}(r) = \begin{cases} \frac{r^2}{2} & (|r| \leq \eta)\\ \eta |r| - \frac{\eta^2}{2} & (|r| > \eta) \end{cases}$

如果殘差的絕對值 |r| 小于閾值 $\eta$ 的話 (即正常值), 上式就變成了 $l_2$ 損失;
如果殘差的絕對值 |r| 大于閾值 $\eta$ 的話 (即異常值), 上式就變成了 $l_1$ 損失, 但是, 為了使與 $l_2$ 平滑地連接, 在 $l_1$ 損失中減去了常數 $\frac{\eta^2}{2}$

這樣的學習方法就是 Huber 損失最小化學習.

$\underset{\theta}{\min} J(\theta) = \displaystyle\sum_{i=1}^n \rho_{\operatorname{Huber}}(r_i)$

圖片發自簡書App

最后編輯于：2018.08.24 23:35:14

?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發布，文章內容僅代表作者本人觀點，簡書系信息發布平臺，僅提供信息存儲服務。

人面猴
序言：七十年代末，一起剝皮案震驚了整個濱河市，隨后出現的幾起案子，更是在濱河造成了極大的恐慌，老刑警劉巖，帶你破解...
沈念sama閱讀 228,461評論 6贊 532
死咒
序言：濱河連續發生了三起死亡事件，死亡現場離奇詭異，居然都是意外死亡，警方通過查閱死者的電腦和手機，發現死者居然都...
沈念sama閱讀 98,538評論 3贊 417
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人，你說我怎么就攤上這事。” “怎么了？”我有些...
開封第一講書人閱讀 176,423評論 0贊 375
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵，是天一觀的道長。經常有香客問我，道長，這世上最難降的妖魔是什么？我笑而不...
開封第一講書人閱讀 62,991評論 1贊 312
?港島之戀（遺憾婚禮）
正文為了忘掉前任，我火速辦了婚禮，結果婚禮上，老公的妹妹穿的比我還像新娘。我一直安慰自己，他們只是感情好，可當我...
茶點故事閱讀 71,761評論 6贊 410
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布。她就那樣靜靜地躺著，像睡著了一般。火紅的嫁衣襯著肌膚如雪。梳的紋絲不亂的頭發上，一...
開封第一講書人閱讀 55,207評論 1贊 324
城市分裂傳說
那天，我揣著相機與錄音，去河邊找鬼。笑死，一個胖子當著我的面吹牛，可吹牛的內容都是我干的。我是一名探鬼主播，決...
沈念sama閱讀 43,268評論 3贊 441
雙鴛鴦連環套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了？” 一聲冷哼從身側響起，我...
開封第一講書人閱讀 42,419評論 0贊 288
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎，沒想到半個月后，有當地人在樹林里發現了一具尸體，經...
沈念sama閱讀 48,959評論 1贊 335
?護林員之死
正文獨居荒郊野嶺守林人離奇死亡，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內容為張勛視角年9月15日...
茶點故事閱讀 40,782評論 3贊 354
?白月光啟示錄
正文我和宋清朗相戀三年，在試婚紗的時候發現自己被綠了。大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
茶點故事閱讀 42,983評論 1贊 369
活死人
序言：一個原本活蹦亂跳的男人離奇死亡，死狀恐怖，靈堂內的尸體忽然破棺而出，到底是詐尸還是另有隱情，我是刑警寧澤，帶...
沈念sama閱讀 38,528評論 5贊 359
?日本核電站爆炸內幕
正文年R本政府宣布，位于F島的核電站，受9級特大地震影響，放射性物質發生泄漏。R本人自食惡果不足惜，卻給世界環境...
茶點故事閱讀 44,222評論 3贊 347
男人毒藥：我在死后第九天來索命
文/蒙蒙一、第九天我趴在偏房一處隱蔽的房頂上張望。院中可真熱鬧，春花似錦、人聲如沸。這莊子的主人今日做“春日...
開封第一講書人閱讀 34,653評論 0贊 26
一樁弒父案，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽。三九已至，卻和暖如春，著一層夾襖步出監牢的瞬間，已是汗流浹背。一陣腳步聲響...
開封第一講書人閱讀 35,901評論 1贊 286
情欲美人皮
我被黑心中介騙來泰國打工，沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留，地道東北人。一個月前我還...
沈念sama閱讀 51,678評論 3贊 392
代替公主和親
正文我出身青樓，卻偏偏與公主長得像，于是被迫代替她去往敵國和親。傳聞我的和親對象是個殘疾皇子，可洞房花燭夜當晚...
茶點故事閱讀 47,978評論 2贊 374

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频

機器學習基礎

機器學習基礎

預備知識

最小二乘學習法 (Least Squares)