前言
以前在許學習貝葉斯方法的時候一直不得要領,什么先驗概率,什么后驗概率,完全是跟想象脫節的東西,今天在聽喜馬拉雅的音頻的時候突然領悟到,貝葉斯老人家當時想到這么一種理論前提可能也是基于一種人的直覺.
先驗概率:是指根據以往經驗和分析得到的概率.[1]
意思是說我們人有一個常識,比如骰子,我們都知道概率是1/6,而且無數次重復實驗也表明是這個數,這是一種我們人的常識,也是我們在不知道任何情況下必然會說出的一個值.而所謂的先驗概率是我們人在未知條件下對事件發生可能性猜測的數學表示!*
后驗概率:事情已經發生，要求這件事情發生的原因是由某個因素引起的可能性的大小[1]
舉個栗子
首先我想問一個問題,桌子上如果有一塊肉喝一瓶醋,你如果吃了一塊肉,然后你覺得是酸的,那你覺得肉里加了醋的概率有多大?你說:80%可能性加了醋.OK,你已經進行了一次后驗概率的猜測.沒錯,就這么簡單.
形式化:
我們設A為加了醋的概率,B為吃了之后是酸的概率.C為肉變質的概率
思考思考再思考
那么先驗概率在這個公式中有沒有出現呢?有,P(A)就是一種先驗概率.
那么什么是P(B|A)呢? 類條件概率.
那么P(B|A)為什么叫類條件概率呢?馬上解釋.
在寫這個隨筆之時,我腦子中又有一種構想,所謂的后驗概率,是一種果因概率,即在一個結果已經發生的條件下,可能是其中某一個原因造成的概率有多大.這里引用一段"概率論與數理統計"[2]中關于貝葉斯公式的解釋:
"如果我們把事件A看做'結果',把諸事件B1,B2...看做導致這個結果的可能的'原因',則可以形象地把全概率公式看做成為'由原因推結果';而貝葉斯公式則恰好相反,其作用于'由結果推原因':現在有一個'結果'A以發生,在眾多可能的'原因'中,到底是哪一個導致了這結果"
,這也佐證了我構想的正確性
那么這個P(原因1導致結果)和P(結果|原因1)之間到底有什么聯系呢?讓我們舉一個圖像識別的例子
再舉個栗子
假如給你一些圖片,這些圖片中有的圖上有動物的角,這些圖片占了1/10(即先驗概率),且已知在有角的條件下是犀牛的概率是0.8(類條件概率1,注意這個概率互補的概率是有角條件下不是犀牛的概率),已知在無角條件下是犀牛概率的是0.05(類條件概率2),現在拿起一張圖,發現是一張犀牛的圖,那么這張圖上帶角的概率有多大(求后驗概率)
由圖中公式可知P(圖片上由動物的角|是犀牛) = 0.80.1/(0.80.1+0.05*0.9)=0.64
可以看到P(圖片上由動物的角且是犀牛)=0.08與P(是犀牛|圖片上由動物的角)=0.8之間差別非常大.
再通過比較可以發現,分母中的類條件概率實際上把一個完整的問題集合S通過特征進行了劃分,劃分成S1/S2/S3...,拿我剛剛提出的所謂果因概率來討論,類條件概率中的類指的是把造成結果的所有原因一(yi) 一(yi)進行列舉,分別討論.
總結:
"概率論只不過是把常識用數學公式表達了出來"---拉普拉斯
我想之所以貝葉斯方法在機器學習中如此重要,就是因為人們希望機器人能像人那樣思考,而很多問題是需要計算機在已知條件下做出最佳決策的決策,而貝葉斯公式就是對人腦在已知條件下做出直覺判斷的一種數學表示.
參考文獻:
[1].百度百科-先驗概率
[2].概率論與數理統計 --陳希孺
