機器學習概念,公式總結

一. 引言

1.機器學習是什么

Arthur Samuel：在進行特定編程的情況下，給予計算機學習能力的領域。
Tom Mitchell：一個程序被認為能從經驗E中學習，解決任務T，達到性能度量值P，當且僅當，有了經驗E后，經過P評判，程序在處理T時的性能有所提升。

2.機器學習導圖

正面.jpeg

圖的左半部分列出了常用的機器學習算法與它們之間的演化關系，分為有監督學習，無監督學習，強化學習3大類。右半部分列出了典型算法的總結比較，包括算法的核心點如類型，預測函數，求解的目標函數，求解算法。
另一個角度總結:

image.png

3.機器學習分類及應用

分類

監督學習：對于有標簽的數據進行學習，目的是能夠正確判斷無標簽的數據。通俗的講，老師教授學生知識，并告知學習過程中的對與錯，讓學生可以從所學知識的經驗和技能中對沒有學過的問題進行正確回答，這就是監督學習，用于預測數據的回歸、分類標簽的分類、順序的排序等問題。

無監督學習：對于無標簽的數據進行學習，目的是不僅能夠解決有明確答案的問題，也可以對沒有明確答案的問題進行預測。通俗的講，學生通過自學學習知識，達到可以正確回答有答案的問題，也可以對無答案的問題進行預測歸類。常用于聚類、異常檢測等。

強化學習：學生學習知識時，沒有老師對其進行對與錯的判定，需要學生根據自己所擁有的信息自己判定對于錯，如果能夠判定出來，則為有監督學習；如果判定不出來對與錯，則為無監督學習。常用于機器人的自動控制、游戲的人工智能、市場戰略的最優化等。

應用

監督學習應用：手寫文字識別、聲音處理、圖像處理、垃圾郵件分類與攔截、網頁檢索、基因診斷、股票預測......（回歸、分類、排序）

無監督學習應用：人造衛星故障診斷、視頻分析、社交網站解析、聲音信號解析.....（聚類、異常檢測）

強化學習應用：機器人的自動控制、計算機游戲中的人工智能、市場戰略的最優化（回歸、分類、聚類、降維）

4.機器學習方法

生成式分類
判別式分類

生成式分類和判別式分類

已知模式x, 求分類類別y的條件概率 $p(y|x)$ 最大的類別: $\hat{y} = \underset{y}{\arg\max} p(y|x)$

條件概率改寫為y的函數: $p(y|x) = \frac{p(x,y)}{p(x)} \propto p(x,y)$
聯合概率p(x,y)和后驗概率p(y|x)成正比,故直接求聯合概率最大值即可: $\hat{y} = \underset{y}{\arg\max p(x,y)}$

條件概率p(y|x)也稱后驗概率, 聯合概率p(x,y)也稱數據生成概率

直接對后驗概率 $p(y|x)$ 學習的過程稱為判別式分類
通過預測數據生成概率 $p(x,y)$ 學習的過程稱為生成式分類

數據生成概率 $p(x,y)$ 已知時可推出后驗概率: $p(y|x) = \frac{p(x,y)}{p(x)} = \frac{p(x,y)}{\sum_y{p(x,y)}}$ , 反之不可以.

統計概率和樸素貝葉斯

統計概率方法
已知樣本 $D=\{(x_i,y_i)\}_{i=1}^{n}$ , 求運用最大似然方法來求模式 $\theta$ :
$\underset{\theta}{max}\prod_{i=1}^yq(x_i,y_i;\theta)$

目標: 由訓練集得到高精度的 $\theta$

樸素貝葉斯方法
計算模式 $\theta$ 的先驗概率 $p(\theta)$ ,運用貝葉斯定理來求數據集D的后驗概率 $p(\theta|D)$ :
$p(\theta|D)=\frac{p(D|\theta)p(\theta)}{p(D)} = \frac{\int\prod_{i=1}^nq(x_i,y_i|\theta)p(\theta)}{\int\prod_{i=1}^nq(x_i,y_i|\theta)p(\theta)d\theta}$
目標: 如何精確計算后驗概率 $p(\theta)$

5.強化學習(RL),監督學習(SL)和無監督學習(UL)的區別和聯系

下面這段話解釋了得很清楚:

Reinforcement learning is a problem. Deep learning is an approach to solving problems.There is a deep learning approach to supervised learning, unsupervised learning, semi-supervised learning, and reinforcement learning.

劃重點:

Supervised Learning: given data, predict labels
Unsupervised Learning: given data, learn about that data
Reinforcement learning: given data, choose action to maximize expected long-term reward
RL更像控制系統家族里的,流著控制的血液，披著機器學習的外衣，需要data，training以此來支持決策。RL可以decision-making，不同于決策樹之類的決策，是控制角度的決策，意味著就有失誤，伴隨著收益與懲罰（股票，博弈，游戲得分等等）。

細一點來說，RL與SL的區別有：

喂數據的方式不同：強化學習（RL）的數據是序列的、交互的、并且還是有反饋的（Reward）-【MDP]。這就導致了與監督學習（SL）在優化目標的表現形式的根本差異：RL是一個決策模型，SL更偏向模式挖掘，低階的函數逼近與泛化。RL是agent自己去學習，SL是跟著programmer的idea在收斂。
RL的target是估計得來的，符合bellman等式，SL的target是fixed label；RL可以融合SL來訓練，RL還可以自己博弈來生成樣本。[交互特性，也可以放到第一點中]
RL可以進行lifelong形式的學習。RL有“生命”的【你可能也不知道你訓練出來的模型到底能干什么】，SL沒有。

二. 機器學習模型

1. 線性模型

一維輸入+基函數形式:

$f_\theta(x) = \sum_{j=1}^b\theta_j\phi_j(x) = \theta^T\phi(x)$
$\phi_j(x)$ 非線性時, $f_\theta(x)$ 可以表示復雜模型
基函數:
(1) 多項式
$\phi(x) = (1, x, x^2, ..., x^{b-1})^T$

(2)三角多項式
$\phi(x) = (1, sinx, cosx, sin2x, cos2x, ..., sinmx, cosmx)^T$

多維輸入形式:

$f_\theta(\vec x) = \sum_{j=1}^b\theta_j\phi_j(\vec x) = \theta^T\phi(\vec x)$

$\phi_j(x)$ 是基函數向量 $\phi(x) = (\phi_1(x), ..., \phi_b(x))^T)$ 的第j個因子, $\theta_j$ 是參數向量 $\theta=(\theta_1,...,\theta_b)^T$ 的第j個因子.

基函數:
(1) 乘法模型
$f_\theta(\vec x) = \sum_{j_1=1}^{b'} \cdots \sum_{j_d=1}^{b'} \theta_{j_1,...,j_d} \phi_{j_1}{(x^{(1)}}) \cdots \phi_{j_d}(x^{(d)})$
模型表現力豐富, 其中, b'代表各維參數個數, 參數總和 $(b′)^d$ , 易導致維數災難.
(2) 加法模型
$θ(x)=\sum_{k=1}^d\sum_{j=1}^{b'}\theta_{k,j}\phi_j(x^{(k)})$
參數總和 $b'd$ , 復雜度小, 表現力差

2. 核模型

線性模型基函數和訓練樣本無關,核模型的基函數會使用輸入樣本.

核模型是二元核函數 $K(\cdot,\cdot)$ , 以 $K(\vec x, x_j)_{j=1}^n$ 的方式線性結合:

$f_\theta(x) = \sum_{j=1}^n\theta_jK(x,x_j)$

高斯核:
$K(x,c) = exp(-\frac{\|x-c\|^2}{2h^2})$
, 其中 $\|\cdot\|$ 表示 $L2$ 范數 $\|x\|=\sqrt{x^Tx}$ , h和c是高斯函數帶寬和均值

高斯核函數圖:

一維高斯核

如圖, 只在各個樣本

\{x_i\}_{i=1}^n

附近近似, 減輕了維數災難

參數個數不依賴輸入變量維數d, 只由樣本數n決定

樣本數n很大時, 將樣本 $\{x_i\}_{i=1}^n$ 的子集 $\{c_j\}_{j=1}^b$ 作為核均值計算, 抑制了計算負荷:
$f_\theta(x)=\sum_{j=1}^b\theta_jK(x,c_j)$

核模型是參數向量 $\vec \theta=(\theta_1,\cdots,\theta_n)^T$ 的線性形式, 因此也是基于參數的線性模式的特例.

基于參數的線性模型稱為參數模型, 核模型稱為非參數模型

核映射: 核模型易擴展,當輸入樣本不是向量時(字符串,決策樹, 圖表等),通過構造兩個樣本x和x'的和核函數 $K(x,x')$ 來建模.

3. 層級模型

非線性模型: 和參數相關的不是線性的模型均稱為非線性模型
非線性模型中的層級模型:
$f_\theta(x) = \sum_{j=1}^b\alpha_j\phi(x;\beta_j)$
上式中, $\phi(x;\beta_j)$ 是包含參數向量 $\vec \beta$ 的基函數, $\vec \alpha$ 是參數向量
層級模型是基于參數向量 $\vec \theta = (\vec \alpha^T, \beta_1^T, \cdots, \beta_b^T)^T$ 的非線性形式

S型基函數:
$\phi(x;\beta) = \frac{1}{1+exp(- x^T \omega-\gamma)}, \beta = (\omega^T, \gamma)^T$

S型基函數

高斯基函數:
$\phi(x;\beta) = exp(-\frac{\|x-c\|^2}{2h^2}), \beta = (c^T, h)^T$

高斯基函數

使用S型核函數的層級模型稱為人工神經網絡
上式中的高斯函數和核模型中的高斯核相同,但是帶寬和均值非固定
層級模型會對耦合系數 $\{\alpha_j\}_{j=1}^b$ ,帶寬和均值都進行學習, 因此層級模型比核函數更靈活.
人工神經網絡學習過程艱難: 參數 $\theta$ 和函數 $f_\theta$ 不是一一對應的
常采用貝葉斯方法學習人工神經網絡

三. 最小二乘法(LS)

1. 無約束最小二乘法

對模型均方誤差最小化時的參數 $\theta$ 學習的方法.

若無特別說明, 下文提到的最小二乘法通指無約束的.

均方誤差:
$J_{LS}(\theta) = \frac{1}{2}\sum_{i=1}^n(f_\theta(x_i)-y_i)^2$

LS: Least Squares
學習目標:
$\hat\theta_{LS} = \underset{\theta}{\arg\min}J_{LS}(\theta)$

平方誤差 $(f_\theta(x_i)-y_i)^2$ 是殘差 $|f_\theta(x_i)-y_i|$ 的 $L2$ 范數, 最小二乘法也稱 $L_2$ 損失最小化學習法

加權最小二乘法
對訓練樣本平方差通過權重 $w_i$ 加權, 再使用最小二乘法:
$\underset{\theta}{min}\frac{1}{2}\sum_{i=1}^nw_i(f_\theta(x_i)-y_i)^2$

核模型的最小二乘法求解:
$f_\theta(x) = \sum_{j=1}^n\theta_jK(x,x_j)$
上式, 將設計矩陣 $\Phi$ 置換為核矩陣K:
$K = \begin{pmatrix} K(x_1,x1) &\cdots &K(x_1,x_n) \\ \vdots &\ddots & \vdots \\ K(x_n,x_1) &\cdots & K(x_n,x_n) \end{pmatrix}$

線性模型中的應用

$f_\theta(x) = \sum_{j=1}^b\theta_i\phi_i(\mathbf x) = \theta^T\phi(x)$

平方誤差:
$J_{LS}(\theta) = \frac{1}{2}\|\Phi \mathbf \theta-\mathbf y\|^2$

$\Phi$ 構成的nxb階設計矩陣:
$\Phi = \begin{pmatrix} \phi_1(x_1) &\cdots &\phi_b(x_1) \\ \vdots &\ddots &\vdots \\ \phi_1(x_n) &\cdots &\phi_b(x_n) \\ \end{pmatrix}$

關于參數向量 $\theta$ 的偏微分:
$\nabla \theta_{LS} = (\frac{\partial J_{LS}}{\partial \theta_1}, \cdots, \frac{\partial J_{LS}}{\partial \theta_b})= \Phi^T\Phi\theta-\Phi^T\mathbf y$
$\nabla \theta_{LS}=0$ 時 $J_{LS}(\theta)$ 取得最小值, 此時最小二乘解滿足 $\Phi^T\Phi \theta=\Phi^T\mathbf y$

解得:
$\hat \theta_{LS} = (\Phi^T\Phi)^{-1}\Phi^Ty$

注: 只有 $\Phi^T\Phi$ 有逆矩陣時上式才成立

廣義逆矩陣: 是對逆矩陣的推廣, 只有方陣, 非奇異矩陣才有逆矩陣, 單矩形矩陣或奇異矩陣都可以定義廣義逆矩陣
令廣義逆矩陣為:
$\Phi^{\dagger} = (\Phi^T\Phi)^{-1}\Phi^T$
, 則 $\hat \theta_{LS}$ 可寫為:
$\hat \theta_{LS} = \Phi ^{\dagger}y$

最小二乘法學習基于三角多項式基函數的線性模型:

無約束最小二乘法解的性質

設計矩陣 $\Phi$ 的奇異值分解:

$\phi = \sum_{k=1}^{min(n,b)}\kappa_k\psi_{k} \varphi_k^T$

$\kappa_k, \psi_{k}, \varphi_k$ 分別稱為奇異值, 左奇異向量, 右奇異向量.

奇異值非負
奇異向量滿足正交性

$\Phi$ 的廣義逆矩陣:
$\Phi^{\dagger} =\sum_{k=1}^{min(n,b)}\kappa_k^{\dagger}\psi_{k} \varphi_k^T$

$\kappa _k^{\dagger}$ 是標量 $\kappa$ 的廣義逆矩陣, $\kappa^{\dagger} = \frac{1}{\kappa} (\kappa \neq 0時)$

最小二乘解表示為:
$\hat \theta_{LS}= \sum_{k=1}^{min(n,b)}\kappa_k^{\dagger}(\psi_{k}^Ty) \varphi_k$

模型輸出向量變換為列向量:
$(f_{\hat \theta_{LS}}(x_1), \cdots, f_{\hat \theta_{LS}}(x_n))^T = \Phi\hat \theta_{LS} = \Phi\Phi^{\dagger}\mathbf{y}$

因此, $\Phi\Phi^{\dagger}$ 是 $\Phi$ 的正交投影矩陣, 最小二乘法輸出向量 $\mathbf y$ 是值域 $R(\Phi)$ 的正交投影得到的.

帶入真實函數中的參數 $\theta^*$ :
$(f(x_1), \cdots, f(x_n))^T = \Phi \theta^*$
可知, 真的輸出值向量就存在于 $R(\Phi)$ 中

結論: 用最小二乘法的向量若是由 $R(\Phi)$ 的正投影得到的, 則可以有效去除y中的噪音:

噪聲期望為0是, $\hat \theta_{LS}$ 就是真是參數 $\theta^*$ 的無偏估計:
$E[\hat \theta_{LS}] = \theta^*$
上式, E為噪聲的期望

漸近無偏性:
增加訓練樣本n, 上式$E[\hat \theta_{LS}]會向著模型中最優參數方向收斂的性質

大規模學習

一般線性模型 $J_{LS}$ 為凸函數.
凸函數: 連接任意兩點 $\theta_1,\theta_2$ 的線段一定在函數上不:

凸函數只有一個峰值,因此通過梯度法一定可以得到均方差 $J_{LS}$ 在值域范圍內的全局最優解

梯度法的收斂速度強烈依賴梯度下降步長, 以及收斂結果判定方式(提前終止).

2.帶約束條件的最小二乘法

單純的最小二乘法容易過擬合, 帶約束的最小二乘法能控制模型復雜度, 降低過擬合.

部分空間約束的LS

含參線性模型, 使用全體參數空間:
$f_{\theta}(x) = \sum_{j=1}^b\theta_j\phi_j(x) = \theta^T\phi(x)$

將參數空間限制在一定范圍內, 防止過擬合:
$\underset{\theta}{min}J_{LS}(\theta) \quad 約束條件 P\theta=\theta$

P是 $bxb$ 維矩陣,是P的值域 $R(P)$ 的正交投影矩陣

部分空間約束的最小二乘法解 $\hat \theta$ 通過將設計矩陣 $\Phi$ 置換為 $\Phi P$ 求得:
$\hat \theta = (\Phi P)^\dagger\, y$

下圖展示了添加部分空間約束對模型的影響:

image.png

上圖用三角多項式作為基函數:
$\phi(x) = (1, sin\frac{x}{2},cos\frac{x}{2},sin\frac{2x}{2},cos\frac{2x}{2}, \cdots, sin\frac{15x}{2},cos\frac{15x}{2})^T$

圖(b)添加了約束條件, 將參數限制在
$(1, sin\frac{x}{2},cos\frac{x}{2},sin\frac{2x}{2},cos\frac{2x}{2}, \cdots, sin\frac{5x}{2},cos\frac{5x}{2})^T$
的部分空間內:

image.png

L2約束的LS

1. 標準L2約束的LS

部分空間約束的LS(最小二乘法), 正交投影矩陣P的設置自由度高, 操作難度大, 基于L2約束的LS相對較容易.

約束條件如下:
$\underset{\theta}{min}J_{LS}(\theta)\quad 約束條件\|\theta\|^2 \leq R$

L2參數空間:

L2約束的最小二乘學習法參數空間

如圖, 是一個參數空間原點為圓心,R為半徑內的圓(一般為超球)

引入拉格朗日對偶問題:

拉格朗日對偶問題

利用拉格朗日對偶問題, 求解:
$\underset{\lambda}{max} \;\underset{\theta}{min} [ J_{LS}(\theta) + \frac{\lambda}{2}(\|\theta\|^2-R)] \; s.t.\;\lambda \ge 0$

的最優解問題, 可得到最優化問題 $\underset{\theta}{min}J_{LS}(\theta)$ 的解.

上式中拉格朗日待定因子 $\lambda$ 的解由圓半徑R決定

簡化版(不由R決定 $\lambda$ ):
$\hat{\theta} = \underset{\theta} {argmin}[ J_{LS}(\theta) + \frac{\lambda}{2}\|\theta\|^2]$

上式 $J_{LS}(\theta)$ 表示對樣本擬合程度, 與 $\frac{\lambda}{2}\|\theta\|^2$ 組合得到最小是, 防止過擬合

上式令關于 $\theta$ 的導數為0, L2約束的LS的解 $\theta$ 可通過下式求解:
$\hat \theta = (\Phi^T\Phi+\lambda I)^{-1}\Phi^T\mathbf y$
上式結論:

將矩陣 $\Phi^T\Phi和\lambda I$ 相加提高其正則性, 進而更穩定地進行逆矩陣求解.
L2約束的LS也成為L2正則化的LS, $\|\theta\|^2$ 稱為正則項, $\lambda$ 為正則化參數
L2正則化有時也稱嶺回歸

將設計矩陣 $\Phi$ 做奇異值分解:
$\Phi = \sum_{k=1}^{min(n,b)}\kappa_k\psi_k\varphi_k^T$

帶入上上式, 則L2約束的LS解 $\hat \theta$ 表示為:
$\kappa_k\psi_k\varphi_k^T\\ \hat{\theta} = \sum_{k=1}^{min(n,b)} \frac{\kappa_k}{(\kappa_k^2 + \lambda)}\psi_k^Ty\varphi_k$

上式結論:

$\lambda=0$ 時, L2約束的LS蛻化為一般的LS
設計矩陣 $\Phi$ 計算條件惡劣,包含極小的奇異值 $K_k$ 時, $K_k/K_k^2=1/K_k$ 變得極大, 訓練輸出 $\vec y$ 噪聲會增加
分母 $K_k^2$ 中加入正的常數 $\lambda$ , 避免 $K_k/(K_k^2+\lambda$ 過大, 進而可防止過擬合

2. 高斯核模型的L2約束優化

高斯核模型

L2約束優化

$帶寬h=0.3, 正則化參數\lambda=0.1$ , 加入正則化項, 很好地抑制了過擬合.
根據標準高斯分布的函數圖, 我們對比可以看出圖中標紅位置出現了過擬合.

2. 更一般L2約束的LS

標準L2約束的LS

問題表示:
$\underset{\theta}{min}J_{LS}(\theta)\; s.t.\; \|\theta\|^2 \le R$
$\hat \theta$ 求解:

$\hat{\theta} = (\Phi^T\Phi + \lambda I)^{-1}\Phi^Ty$

更一般的L2約束的LS
使用 $bxb$ 正則化矩陣G, 可得到更一般的表示:

問題表示:
$\underset{\theta}{min}J_{LS}(\theta)\; s.t. \; \theta^T G\theta \le R$
$\hat \theta$ 求解:
更一般的L2約束的LS解 $\theta$ 求解過程, 和標準L2約束的LS大體相同:
$\hat{\theta} = (\Phi^T\Phi + \lambda G)^{-1}\Phi^Ty$
參數空間:
矩陣G對稱正定時, $\theta^TG\theta \leq R ?$ 將數據限制在橢圓區域內. 下圖為更一般的L2約束的LS參數空間:

一般L2約束LS的參數空間

3. 模型選擇

部分空間約束或L2約束的LS, 都過分依賴正交投影矩陣P和 正則化參數λ的選擇

選擇合適的P和λ至關重要

采用不同的輸入樣本, 決定算法中各個參數值的過程稱為模型選擇

下圖展示一個高斯核模型+L2約束的LS中, 帶寬 $h$ 和正則化參數 $\lambda$ 的變化對學習結果的影響:

image.png

模型選擇流程:

image.png

實際應用中常用交叉驗證法, 拿出一部分訓練樣本做測試, 不參與學習, 值評價最終學習結果的泛化誤差

image.png

交叉驗證法流程:

交叉驗證

K折交叉驗證:
訓練集分割為k個集合, 需進行k次學習, 由于各學習過程相互獨立, 可以并行計算.

留一交叉驗證:
設有n個樣本, 每次留下一個樣本做測試集, 其余n-1個訓練, 共需要訓練n次, 測試n次
計算繁瑣, 樣本利用率高, 適合小樣本學習

最后編輯于：2018.09.19 10:19:27

?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發布，文章內容僅代表作者本人觀點，簡書系信息發布平臺，僅提供信息存儲服務。

人面猴
序言：七十年代末，一起剝皮案震驚了整個濱河市，隨后出現的幾起案子，更是在濱河造成了極大的恐慌，老刑警劉巖，帶你破解...
沈念sama閱讀 228,461評論 6贊 532
死咒
序言：濱河連續發生了三起死亡事件，死亡現場離奇詭異，居然都是意外死亡，警方通過查閱死者的電腦和手機，發現死者居然都...
沈念sama閱讀 98,538評論 3贊 417
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人，你說我怎么就攤上這事?！?“怎么了？”我有些...
開封第一講書人閱讀 176,423評論 0贊 375
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵，是天一觀的道長。經常有香客問我，道長，這世上最難降的妖魔是什么？我笑而不...
開封第一講書人閱讀 62,991評論 1贊 312
?港島之戀（遺憾婚禮）
正文為了忘掉前任，我火速辦了婚禮，結果婚禮上，老公的妹妹穿的比我還像新娘。我一直安慰自己，他們只是感情好，可當我...
茶點故事閱讀 71,761評論 6贊 410
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布。她就那樣靜靜地躺著，像睡著了一般。火紅的嫁衣襯著肌膚如雪。梳的紋絲不亂的頭發上，一...
開封第一講書人閱讀 55,207評論 1贊 324
城市分裂傳說
那天，我揣著相機與錄音，去河邊找鬼。笑死，一個胖子當著我的面吹牛，可吹牛的內容都是我干的。我是一名探鬼主播，決...
沈念sama閱讀 43,268評論 3贊 441
雙鴛鴦連環套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了？” 一聲冷哼從身側響起，我...
開封第一講書人閱讀 42,419評論 0贊 288
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎，沒想到半個月后，有當地人在樹林里發現了一具尸體，經...
沈念sama閱讀 48,959評論 1贊 335
?護林員之死
正文獨居荒郊野嶺守林人離奇死亡，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內容為張勛視角年9月15日...
茶點故事閱讀 40,782評論 3贊 354
?白月光啟示錄
正文我和宋清朗相戀三年，在試婚紗的時候發現自己被綠了。大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
茶點故事閱讀 42,983評論 1贊 369
活死人
序言：一個原本活蹦亂跳的男人離奇死亡，死狀恐怖，靈堂內的尸體忽然破棺而出，到底是詐尸還是另有隱情，我是刑警寧澤，帶...
沈念sama閱讀 38,528評論 5贊 359
?日本核電站爆炸內幕
正文年R本政府宣布，位于F島的核電站，受9級特大地震影響，放射性物質發生泄漏。R本人自食惡果不足惜，卻給世界環境...
茶點故事閱讀 44,222評論 3贊 347
男人毒藥：我在死后第九天來索命
文/蒙蒙一、第九天我趴在偏房一處隱蔽的房頂上張望。院中可真熱鬧，春花似錦、人聲如沸。這莊子的主人今日做“春日...
開封第一講書人閱讀 34,653評論 0贊 26
一樁弒父案，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽。三九已至，卻和暖如春，著一層夾襖步出監牢的瞬間，已是汗流浹背。一陣腳步聲響...
開封第一講書人閱讀 35,901評論 1贊 286
情欲美人皮
我被黑心中介騙來泰國打工，沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留，地道東北人。一個月前我還...
沈念sama閱讀 51,678評論 3贊 392
代替公主和親
正文我出身青樓，卻偏偏與公主長得像，于是被迫代替她去往敵國和親。傳聞我的和親對象是個殘疾皇子，可洞房花燭夜當晚...
茶點故事閱讀 47,978評論 2贊 374

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频

機器學習概念,公式總結

機器學習概念,公式總結

一. 引言

1.機器學習是什么

2.機器學習導圖

3.機器學習分類及應用

分類

應用

4.機器學習方法

生成式分類和判別式分類

統計概率和樸素貝葉斯

5.強化學習(RL),監督學習(SL)和無監督學習(UL)的區別和聯系

二. 機器學習模型

1. 線性模型

一維輸入+基函數形式:

多維輸入形式:

2. 核模型

3. 層級模型

三. 最小二乘法(LS)

1. 無約束最小二乘法

線性模型中的應用

無約束最小二乘法解的性質

大規模學習

2.帶約束條件的最小二乘法

部分空間約束的LS

L2約束的LS

1. 標準L2約束的LS

2. 高斯核模型的L2約束優化

2. 更一般L2約束的LS

3. 模型選擇

推薦閱讀更多精彩內容

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美 国产 综合 欧美 视频

機器學習概念,公式總結

一. 引言

1.機器學習是什么

2.機器學習導圖

3.機器學習分類及應用

分類

應用

4.機器學習方法

生成式分類和判別式分類

統計概率和樸素貝葉斯

5.強化學習(RL),監督學習(SL)和無監督學習(UL)的區別和聯系

二. 機器學習模型

1. 線性模型

一維輸入+基函數形式:

多維輸入形式:

2. 核模型

3. 層級模型

三. 最小二乘法(LS)

1. 無約束最小二乘法

線性模型中的應用

無約束最小二乘法解的性質

大規模學習

2.帶約束條件的最小二乘法

部分空間約束的LS

L2約束的LS

1. 標準L2約束的LS

2. 高斯核模型的L2約束優化

2. 更一般L2約束的LS

3. 模型選擇

推薦閱讀更多精彩內容

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频