先驗概率是怎么來的？
我們在前一章一直強調先驗概率的重要性。很自然的一個問題是，某個原因的先驗概率
P(原因 i), 是怎么來的呢？
有人說，從先驗概率 P(原因 i) 的表達式來看，這不就是原因i本身，在不依賴于任何觀察的條件下發生的概率么？
真的是這樣么？從對事物的認知來講，一定是有觀測，才能建立對它的看法啊。所以，某個原因的先驗概率 P(原因 i)，一定是基于某些觀測得到的。例如在我們前面坐飛機遇見劇烈顛簸的例子中， P(飛機很安全) 這個先驗概率，就是基于過去歷史上的所有的觀察到的統計數據得到的結果。從這個角度上來講，先驗概率是基于過去的觀測，更確切的說是過去所有的歷史觀測下得到的原因i的發生的概率。
可是這樣一來，某個原因i的先驗概率 P(原因 i)，實際上不就變成了后驗概率 P(原因i|歷史上的觀測)了么？那我們之前學的貝葉斯定理，
還能夠針對這種情況么？
先說結論：答案是肯定的。
當我們用上面的貝葉斯定理進行推理的時候，我們實際上用的是
也就是說，原始貝葉斯定理中的后驗概率 P(原因i|歷史上的觀測)，表面上是基于當前的觀測得到的，實則還結合了所有的歷史觀測，即P(原因i|歷史觀測,當前觀測})。 這非常符合實際情況。例如，在挑瓜的例子中，你其實并不是僅僅基于通過拍當前的西瓜聽到的聲音這個信息來挑瓜，你是用你過去了解到的，與這個西瓜相關的所有的信息(包括品種、季節對瓜的成熟度的影響)對你手里的瓜進行判斷。在`坐飛機遇見顛簸'的例子中，你其實不僅僅是依賴當前碰到的飛機顛簸這個證據來進行判斷，而是用過去歷史上累積下來的所有與飛機安全性相關的數據進行判斷。
此外，原始貝葉斯定理中的先驗概率 P(原因i)}，表面上不基于任何觀測，但實際上是基于歷史上的所有觀測，即 P(原因i|歷史上所有證據}。換句話說當前的先驗概率，實際上是歷史的后驗概率。
再次，貝葉斯定理中的先驗概率和后驗概率都是相對某一個時刻的。如果'觀測1'、'觀測2'、'觀測3'隨時間先后到來，P(原因i|觀測1) 對于觀測1而言是后驗概率(因為使用了觀測1的信息)，但對于觀測2而言又是先驗概率。P(原因i|觀測1,觀測2) 對于觀測1、觀測2來講是后驗概率，但又是觀測3的先驗概率。
最后，每一個時刻當前的觀測，都會成為下一時刻歷史的觀測，并且其作用會融入到先驗概率中永不消失。例如，觀測1不僅僅會影響k=2時對原因i的估計，而且還會影響k=n+1時對原因i的估計。這樣，隨著時間的推移，
中的歷史觀測會越積累越多。隨著時間的推移，我們會發現，在絕大多數情況下，擺在臺面上所謂的當前的觀測相對于歷史上所有的觀測和證據而言，只是冰山一角罷了。
因此，貝葉斯定理中的先驗概率 P(原因i|歷史觀測)，往往信息量和重要性要比當前的觀測做出的調整: P(當前觀測|原因i)/P(當前觀測) 要大得多。這樣，我們就從原理上證明了我們前一幾節中反復強調的先驗概率的重要性。
當證據源源不斷到來時如何更新的例子
我舉一個例子來說明當我們源源不斷的觀測到現象時，如何對某個原因更新的例子。
你進入開水房準備打開水，你想知道這個水房里的開水器里的水是否開了(假設1: 水開，假設2: 水沒開)。我們將在下面演示，在這個過程中，你是如何根據不斷拿到的證據來逐步更新這兩個假設的概率的。
- 在你還未看到這個燒開水的機器之前，假設你對這個機器之前的情況一無所知，我們可以假設先驗概率 P(水開)=P(水沒開)=0.5。
- 然后，你會先觀察一下開水器的電源燈是否亮起，如果亮了(觀測1=燈亮)，那么根據貝葉斯公式，我們有：
我們可以證明，上式中 P(燈亮|水開)/P(燈亮)>1 (將分母全概率公式展開可證)，因此在燈亮的前提下，你會進一步調高水開的概率，即 P(水開了|燈亮)>P(水開了)，否則，你會調低水開的概率。
- 其次，你在灌水的初始，會觀察水是否冒熱氣(觀測2=冒熱氣)，并把這個觀察用加入到證據中對水開了的概率進行更新，即得到P(水開了|燈亮,冒熱氣)。由于
同樣可以證明P(冒熱氣|水開)/P(冒熱氣)>1，因此，你會進一步加強水開的概率，即
P(水開|燈亮,冒熱氣)>P(水開|燈亮)。否則，會調低水開的概率。
- 最后，當水進了你的杯子，你會隔著杯子感受這個溫度(觀測3=溫度高)，并將這個觀測加入到之前的證據中對水開了這個假設的概率做更新，即得到 P(水開|燈亮,冒熱氣,溫度高)}。如果你感覺很燙，你進一步加強這個假設：P(水開|燈亮,冒熱氣,溫度高)>P(水開|燈亮,冒熱氣)}。否則，會調低這個假設。
這個例子中，和某個原因相關的觀測是源源不斷到來的。在拿到每一個新觀測的時候，你都用該觀測來調整之前的估計。隨著時間的推移，當前的觀測成為歷史的觀測。這種更新方法，叫做在線貝葉斯估計。
本章總結
- 首先,原始貝葉斯定理中的后驗概率，表面上是基于當前的觀測得到的，實則還結合了 所有的歷史觀測。
- 原始貝葉斯定理中的先驗概率，表面上不基于任何觀測，但實際上是基于歷史上的所有觀測。
- 貝葉斯定理中的先驗概率和后驗概率都是相對某一個時刻而言的。每一個時刻的后驗，都會成為下一時刻的先驗。
- 因此先驗概率非常重要，因為在絕大多數情況下當前的觀測相對于歷史上所有的觀測和證 據而言只是冰山一角而已。
