前言

現代機器學習的終極問題都會轉化為解目標函數的優化問題，MLE和MAP是生成這個函數的很基本的思想，因此我們對二者的認知是非常重要的。最近有時間, 我查了些資料, 加深了一下對這倆的理解.

統計學習要素

再次讀到統計學習方法[1]第一章, 終于開始理解1.3節的內容. 統計學習方法都是由模型, 策略和算法構成的.?

(1)模型: 這里的模型, 其實指的是要學習的條件概率分布(例如邏輯斯蒂分布, 正態分布)或者決策函數. 所有模型的集合就是統計學習的模型假設空間.

(2)策略: 有了模型的假設空間后, 策略指的就是按照什么樣的準則學習或者選擇最優的模型, 學習的目標在于從假設空間中選擇最優模型.

監督學習問題是在假設空間中選擇模型f作為決策函數, 對于給定的輸入X, 預測值f(X)對應的真實值Y, 用損失函數來定義這個輸出與真實值之間的偏差程度, 計做L(Y, f(X)). 常用的損失函數: 0-1, 平方, 絕對損失, 合頁損失, 對數損失. 對于所有的樣本, 損失函數得到的所有偏差值的均值是該損失函數的期望值, 成為風險函數或者是期望損失.

所以, 學習的目標是使得這個風險最小化. 而關于這個風險最小化, 就有了兩個不同的策略, 分別是經驗風險最小化(ERM)以及結構風險最小化(SRM).?

經驗風險最小化的目標是, 經驗風險最小的模型是最優的, 也就是說, 預測值越近似于樣本的模型是最優的, 當樣本足夠多, 包含的信息足夠多的時候, 經驗風險最小化有很好的學習效果, 但是樣本容量小的時候, 容易過擬合.

結構風險最小化的目標是為了防止過擬合, 通常在經驗風險的基礎上加上正則化項或者懲罰項.

今天本文的主角, 最大似然估計(MLE)與最大后驗概率估計(MAP)分別是經驗風險最小化與結構風險最小化典型栗子.

(3)算法, 如何基于樣本進行訓練, 如何求解全局最優并簡單高效等等.

頻率學派與貝葉斯派

我們認為, 概率模型的學習過程, 其實就是給定模型的條件下的參數估計過程, 長久以來, 統計學界的兩個學派分別提出了各自的解決方案.

頻率學派認為, 參數雖然未知, 但是卻是客觀存在的固定值, 因此可以通過優化似然函數等方法來確定參數值, 這種方法在樣本多的時候很吊.

貝葉斯派認為, 參數是沒有觀測到的隨機變量, 它自身也有分布, 可以假定參數服從一個先驗分布, 然后基于樣本來計算后驗分布, 最后通過后驗概率的最大化來確定參數自身的分布, 這個方法在先驗分布準確的時候效果非常顯著, 但是樣本增多的時候, 效果就逐漸變差了.

比較認同這篇的說法:

抽象一點來講，頻率學派和貝葉斯學派對世界的認知有本質不同：頻率學派認為世界是確定的，有一個本體，這個本體的真值是不變的，我們的目標就是要找到這個真值或真值所在的范圍；而貝葉斯學派認為世界是不確定的，人們對世界先有一個預判，而后通過觀測數據對這個預判做調整，我們的目標是要找到最優的描述這個世界的概率分布。

最大似然估計

最大似然估計(Max Likelihood Estimation, MLE)最常見的推導過程如下:

公式一 摘自[2]

之所以放這個推導過程, 是因為這里他的推導非常干凈利落, 簡單粗暴.最后這一行所優化的函數被稱為Negative Log Likelihood (NLL).

此外, 在深度學習任務中, 交叉熵損失函數(cross entropy loss), 本質上也是MLE.平時常見的模型中, 使用MLE作為學習策略的包括:

LR，決策樹，EMM，CRF。。。。

LR的推導

這里，我們通過最大似然估計去推導LR的參數估計過程。

首先我們定義一下似然函數，對于每一條樣本，其預測正確的概率為：

公式二 似然函數

這里對于每一條樣本，符合伯努利實驗的假設，上述似然函數可以簡化為：

公式三 似然函數簡單形式

綜合所有的樣本：

公式四 似然函數

得到對數似然概率：

公式五 對數似然概率

因此，最大似然概率也就是：

公式六 最大似然

等價于：

公式七 最大似然

這里的似然函數是一個凸函數（證明過程待補充），可以使用梯度下降法進行優化，接下來就是求以下導數：

公式八 求導

求導之前，我們稍微改寫以下邏輯斯諦分布， 加上偏置項：

公式九 邏輯斯諦分布

這里省略推導過程，給出結果：

公式十 求導結果

當然，LR的推導也可以走常見的定義損失函數再求導的過程，得到的答案應該是一致的。

最大后驗估計

首先回顧一下概率論的兩個概念，貝葉斯公式與全概率公式

公式 一 貝葉斯公式

公式二 全概率公式

那什么是先驗概率與后驗概率？

簡單地說。先驗概率是由采樣觀測來的各類別的概率分布。

后驗概率是在觀測的基礎上關于參數的概率分布， 通俗地說是，在事情已經發生的基礎上，某個條件的概率。計做

公式三 后驗概率

依然上面MLE推導過程的老哥的推導過程：

公式四 最大后驗概率的推導

推導過程中第二步到第三步用的是上面的貝葉斯公式進行轉換。

從優化公式可以看出來，最后的結果中，包含對數似然函數， 因此，最大后驗概率估計的方法通常與最大似然估計一起使用。例如在樸素貝葉斯，隱馬爾科夫模型，EM算法中，都同時包含MLE與MAP。

后記

由于自己蠢，沒早點找到寫markdown的設置，白瞎了在網頁上敲了半天的latex，以后再補上MAP的實例推導。