機器學習: 貝葉斯分類器

在機器學習的監督學習里，貝葉斯分類器算是很有名的一個方法了，而且這個方法效果還不錯。

貝葉斯方程

我們先來復習一下大學里高數的貝葉斯方程

P(A|B) = \frac{P(B|A) \times P(A)}{P(B)}

只要記住這個方程，后面就都很容易理解 了。

為什么要用貝葉斯

為什么一定是貝葉斯呢？就是因為貝葉斯可以根據 P(A|B) 去推 P(B|A)。我們先看下面的數據集。

現在你根據這個數據集去生成一個模型（現在還不知道怎么生成），然后我給 X = 0，你預測 X=0 時是 Bad 還是 Good。如果用條件概率來表示應該就是求

P(Y=Good|X=0)

和

P(Y=Bad|X=0)

兩個概率，然后比一下哪個概率大，概率大的那個就是預測值嘍~。現在看傻眼了，這概率我怎么求呀，一點線索沒有。OK，現在貝葉斯就出來求這兩個概率了，這里就求上面的概率吧。

P(Y=Good|X=0) = \frac{P(X=0|Y=Good) \times P(Y=Good)}{P(X=0)}

其中，已知 Y=Good 是有 15+287+5 個了，所以

P(X=0|Y=Good) = \frac{15}{15+287+5}=\frac{15}{307}

P(Y=Good) = \frac{15+287+5}{15+287+5+42+338+3}=\frac{307}{690}

P(X=0) = \frac{42+15}{42+15+338+287+3+5}=\frac{57}{690}

整合一下概率為

P(Y=Good|X=0) = \frac{P(X=0|Y=Good) \times P(Y=Good)}{P(X=0)} =\frac{15}{57} \approx 0.2632

以此類推我們把其它的概率都算出來，下面最右邊的表格就是我們對給定 X 值的預測概率，其中綠色為較高的概率，會分到那個類。

貝葉斯分類器就沒了，原理就是這么簡單。不過，像上面使用貝葉斯在細節上會有一點問題，下面來說說這些問題。

Normalization

現在我們慢慢優化上面的分類器。假設現在我們的特征值變成 3 個，分別是 A，B，C 三個，數據集是這樣的

不錯呀，那么擼起袖子算預測值唄。但是你有沒有想到一種情況是 A，B，C 對應的值是 0 呢？如下表。換句話說我的數據集里就沒 有一項是 A=0,B=0,C=0，那該怎么辦呢？

所以一般計算后的結果會加一個小數使其結果不為 0 就好了，這個過程叫做 Normalization.

Naive Bayes

Naive Bayes 分類器應該都很耳熟了，它主要解決的問題是貝葉斯的計算問題。剛剛也就三個特征值，那如果再多一點那計算量就很大了。公式可能寫成這樣

P(Y=y∣F_1=f_1,…,F_k=f_k)=\max_y {\frac{P(F_1=f_1,…,F_k=f_k|Y=y) \times P(Y=y)}{P(F_1=f_1,…,F_k=f_k)}}

而且我們不能保證所有特征值都會有對應的 Y 值，如有可能存在 A_1=0,A_2=0,...A_10000=0 沒有對應的 Y 值。那這樣就計算不了了。所以我們“大概地”，“理想化地”把所有特征值都看成是獨立的，于是計算預測概率時就有

P(F_1=f_1,…,F_k=f_k|Y=y) \approx P(F_1=f_1|Y=y) \times P(F_2=f_2|Y=y) \times ... \times P(F_k=f_k|Y=y)

將上面的式子整理一下

P(F_1=f_1|Y=y) \times P(F_2=f_2|Y=y) \times ... \times P(F_k=f_k|Y=y) = \prod^k_{i=1}{P(F_i=f_i|Y=y)}

再代回原來的公式變成

P(Y=y∣F_1=f_1,…,F_k=f_k) \approx \max_y {\frac{P(Y=y) \times \max_y {\prod^k_{i=1}{P(F_i=f_i|Y=y)}}}{P(F_1=f_1,…,F_k=f_k)}}

因為我們只是每次對給定相同的特征值去對比預測值，所以分母是一樣的，我們只需要關注分子就可以了。因此，我們直接把分母去掉，只比較分子

要對比的預測值 \approx P(Y=y) \times \max_y {\prod^k_{i=1}{P(F_i=f_i|Y=y)}}

因為這只是我們假想所有特征值是獨立的，因此這個方法很 Naive，也就叫成了 Naive Bayes Classifier.

Naive Bayes vs Joint Bayes

下面通過一個例子來對比一下這兩個方法

Naive Bayes

因為特征值是獨立的，所以 \hat{p}(x_1, x_2|y=1) 不是 0 而是 \hat{p}(x_1|y=1) 和 \hat{p}(x_2|y=1) 的乘積。

Joint Bayes

Joint Bayes 也就是之前的 Bayes 啦。這里特征值不是獨立的，而且我們找不到 y=1 的條件下 x_1=1 和 x_2=1 同時成立的樣本，因此 \hat{p}(x_1, x_2|y=1) = 0。

從上面例子可以看到，如果不用 Naive Bayes 來做，會出現預測概率為 0 的情況，這是很不好的。Naive Bayes 就可以避免這種結果，而且在實際使用中 Naive Bayes 效果還挺不錯的，雖然它是一個估算值。

Gaussian Bayes

下面說說高斯貝葉斯分類器。首先說下高斯模型，也就是正態分布模型。

這里面 \mu 表示平均數， \sigma 表示方差，函數的公式是

f(x)=\frac{1}{\sigma \sqrt{2\pi}}e^{- \frac{{(x-\mu)}^2}{2\sigma^2}}

為什么又搞這個玩意呢？因為有些特征值是服從高斯分布的（正態分布），我們首先可以通過數據集里的特征值算出這個特征值服從高斯分布的平均值和方差，然后就得到了對應的高斯分布方程。以后在給定特征值 F_1=f1 時，我們就可以用這個方程去求對應的概率了，如下面代入 x = f_1，這里假定已經算出 \mu 和 \sigma

p(F_1=f_1|Y=y)=\frac{1}{\sigma \sqrt{2\pi}}e^{- \frac{{(f_1-\mu)}^2}{2\sigma^2}}

這樣就不用去找總數是多少，符合條件的有多少個，然后再一除得到概率值 。

錯誤率

最后應該要講講這個分類器的錯誤率了。在分兩個種類時，一般使用下面的不等式去看屬于 1 類還是 0 類。

p(y=0|x) < p(y=1|x)
p(y=0|x) > p(y=1|x)

可視化這兩個概率會得到圖

這里有兩個相交的地方，紅色陰影表示 False Negative，也就是本來應該判為 1 類的，這里判成了 0 類；藍色陰影表示 False Positive，本來應該判為 0 類，但是判成了 1 類。所以我們有以下公式去算每個區域的概率

  • True Positive Rate: \frac{p(y=1, \hat{y}=1)}{p(y=1)}
  • False Positive Rate: \frac{p(y=1, \hat{y}=0)}{p(y=1)}
  • False Negative Rate: \frac{p(y=0, \hat{y}=1)}{p(y=0)}
  • True Negative Rate: \frac{p(y=0, \hat{y}=0)}{p(y=0)}
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發布，文章內容僅代表作者本人觀點，簡書系信息發布平臺，僅提供信息存儲服務。
  • 人面猴
    序言：七十年代末，一起剝皮案震驚了整個濱河市，隨后出現的幾起案子，更是在濱河造成了極大的恐慌，老刑警劉巖，帶你破解...
    沈念sama閱讀 228,786評論 6贊 534
  • 死咒
    序言：濱河連續發生了三起死亡事件，死亡現場離奇詭異，居然都是意外死亡，警方通過查閱死者的電腦和手機，發現死者居然都...
    沈念sama閱讀 98,656評論 3贊 419
  • 救了他兩次的神仙讓他今天三更去死
    文/潘曉璐 我一進店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人，你說我怎么就攤上這事。” “怎么了？”我有些...
    開封第一講書人閱讀 176,697評論 0贊 379
  • 道士緝兇錄：失蹤的賣姜人
    文/不壞的土叔 我叫張陵，是天一觀的道長。 經常有香客問我，道長，這世上最難降的妖魔是什么？ 我笑而不...
    開封第一講書人閱讀 63,098評論 1贊 314
  • ?港島之戀（遺憾婚禮）
    正文 為了忘掉前任，我火速辦了婚禮，結果婚禮上，老公的妹妹穿的比我還像新娘。我一直安慰自己，他們只是感情好，可當我...
    茶點故事閱讀 71,855評論 6贊 410
  • 惡毒庶女頂嫁案：這布局不是一般人想出來的
    文/花漫 我一把揭開白布。 她就那樣靜靜地躺著，像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上，一...
    開封第一講書人閱讀 55,254評論 1贊 324
  • 城市分裂傳說
    那天，我揣著相機與錄音，去河邊找鬼。 笑死，一個胖子當著我的面吹牛，可吹牛的內容都是我干的。 我是一名探鬼主播，決...
    沈念sama閱讀 43,322評論 3贊 442
  • 雙鴛鴦連環套：你想象不到人心有多黑
    文/蒼蘭香墨 我猛地睜開眼，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了？” 一聲冷哼從身側響起，我...
    開封第一講書人閱讀 42,473評論 0贊 289
  • 萬榮殺人案實錄
    序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎，沒想到半個月后，有當地人在樹林里發現了一具尸體，經...
    沈念sama閱讀 49,014評論 1贊 335
  • ?護林員之死
    正文 獨居荒郊野嶺守林人離奇死亡，尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,833評論 3贊 355
  • ?白月光啟示錄
    正文 我和宋清朗相戀三年，在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,016評論 1贊 371
  • 活死人
    序言：一個原本活蹦亂跳的男人離奇死亡，死狀恐怖，靈堂內的尸體忽然破棺而出，到底是詐尸還是另有隱情，我是刑警寧澤，帶...
    沈念sama閱讀 38,568評論 5贊 362
  • ?日本核電站爆炸內幕
    正文 年R本政府宣布，位于F島的核電站，受9級特大地震影響，放射性物質發生泄漏。R本人自食惡果不足惜，卻給世界環境...
    茶點故事閱讀 44,273評論 3贊 347
  • 男人毒藥：我在死后第九天來索命
    文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧，春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,680評論 0贊 26
  • 一樁弒父案，背后竟有這般陰謀
    文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至，卻和暖如春，著一層夾襖步出監牢的瞬間，已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,946評論 1贊 288
  • 情欲美人皮
    我被黑心中介騙來泰國打工， 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留，地道東北人。 一個月前我還...
    沈念sama閱讀 51,730評論 3贊 393
  • 代替公主和親
    正文 我出身青樓，卻偏偏與公主長得像，于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子，可洞房花燭夜當晚...
    茶點故事閱讀 48,006評論 2贊 374

推薦閱讀更多精彩內容