本文博客地址
http://www.algorithmdog.com/ten-positive-eleven
本文在公眾號 AlgorithmDog 地址
http://mp.weixin.qq.com/s?__biz=MzI2MDIxMjQyMg==&mid=2653584065&idx=1&sn=31a922614b405be59882e689f9e341cb#rd 。
我們拋硬幣，前十次都是正面，那么第十一次正面的概率是多少？
看到上圖，估計大伙已經知道我在吐槽啥了。一種答案是50%，另一種答案是$0.5^{11}$。
- 聯合概率和條件概率
拋硬幣是一個典型的伯努利過程。硬幣正面朝上的概率用 $\theta$ 表示，拋的次數用 n 表示，正面的次數用 t 表示，$s_{i}=1$ 表示第 i 次硬幣正面。
第十一次為正面的概率是多少？這個問題首先是一道語文題。我們得搞清楚，當我們問第十一次為正面的概率是多少，我們到底問了啥。回答 0.5 的人，認為問題是條件概率 $p(\theta)$ 或者$p(\theta|T=10) $(和前面結果獨立)。回答 0.5 的人，認為問題是聯合概率 $p(\theta,T=10)$。
明確條件概率和聯合概率概念之后，“第十一次正面的概率是多少（在前面十次正面的情況下）？” 是在問條件概率，而不是問聯合概率。因此這不是一個數學題，而是一個語文題。
2.貝葉斯
在生活場景下，回答第十一次正面的概率 0.5 是 OK 的。因此在生活中，我們一般認為硬幣是無偏的。不過貝葉斯學派的童鞋們有不同的話說。如果拋硬幣正面的概率 $\theta = 0.5$，那么前面十次都是正面的概率就是 $p(T=10|\theta) = 0.5^{10} = 1/1024$。不太可能吧，那么小的概率都被我們碰到。因此貝葉斯的童鞋們認為，這個硬幣傾向于正面。
在拋硬幣問題上，貝葉斯公式如下所示。
按照這個公式，貝葉斯關心概率的概率 $p(\theta|T)$。計算這個概率的概率之前，我們需要先驗概率 $p(\theta)$。對于拋硬幣這個伯努利過程，一般用 Beta 分布做先驗概率，Beta 分布的公式如下所示。
其中 $\alpha$ 和 $\beta$ 是 Beta 分布的兩個參數。計算后驗概率
$p(\theta|T=10) = Beta(\theta;\alpha+10,\beta)$ 的概率密度分布示意圖如下所示。
那么按照貝葉斯方法，第十一次正面的概率$\theta$ 是多少？不好意思，貝葉斯方法并不能計算出這個，但貝葉斯方法能夠計算后驗概率 $p(\theta|T=10)$ 。根據后驗概率，我們能計算 $\theta$ 以一定的概率處于一定范圍。
- 區間估計
其實我們還可以用區間估計來解決這個問題。針對參數$\theta$, 區間估計算出一個區間 [L(X),U(X)]，其中 L(X) 和 U(X) 是兩個統計量。隨機區間 [L(X),U(X)] 覆蓋參數 $\theta$ 的概率被稱為覆蓋概率，表示為 $p(\theta \in [L(X),U(X)]|\theta)$。覆蓋概率的最小值被稱為置信度，表示為$inf_{\theta} p(\theta \in [L(X),U(X)]|\theta)$。對于置信度為 $1-\alpha$ 的區間估計，我們有
其中 $p(\theta) $ 是未知的先驗概率。相比貝葉斯的做法，區間估計不需要具體的先驗概率。按照上面的公式，至少$1-\alpha$ 的可能性，參數 $\theta$ 處于區間 [L(X),U(X)] 之間。
雖然伯努利過程簡單，但相關的區間估計都有缺陷。相關的區間估計包括 Wald interval、Wilson score interval、Jeffreys interval、Clopper-Pearson interval 和 Agresti-Coull Interval 等等。我們用適用于極端情況的 Wilson score interval 做例子。Wilson score interval 的計算公式如下所示。
我們用模擬方法計算 Wilson score interval 的覆蓋概率，其中參數設置為 $1-\alpha=0.05$，$n=5,10,100$，結果如下圖所示。可以發現覆蓋概率有時會低于置信度 $1-\alpha=0.05$，說明 Wilson score interval 存在缺陷。這時我們不能說: 至少$1-\alpha$ 的可能性，參數 $\theta$ 處于 Wilson score interval。不過我們也發現，覆蓋概率一直保持較高的水平。我們很有信心 $\theta$ 屬于 Wilson score interval。
回到之前的問題。拋了十次全部為正，則$\hat{p}=1$。再令$1-\alpha=0.95$。按照公式計算得 L(X) = 0.722 和 U(X) = 1，即得區間 [0.722,1]。我們很有信心地認為第十一次正面的概率處于 0.722 和 1 之間。
4.總結
當然啦，硬幣可能立起來，哈哈哈。
