前面已經講到點估計值是一個樣本統計值，我們用這個值來近似的估計總體的某個參數。由于樣本統計值本身是一個隨機變量，不同的樣本集中的統計值會有差別，因此在使用點估計進行總體參數估計的時候，不可能完全的準確。我們可以在點估計值的基礎上附加一個誤差限 Margin of error 構造一個總體均值的區間估計，使得我們可以了解點估計值與總體參數的近似程度。

區間估計 = 點估計值 ± 誤差限

總體方差已知時總體均值的區間估計

通常情況下總體的方差同均值一樣都是未知的，但在有些總體中由于具備長期的觀察，可以認為總體的方差是已知的。

在 抽樣及其分布 中我們講到當抽樣樣本集包含的元素的數量 n 足夠大的時候，無論總體是否服從正態分布，不同抽樣樣本集中得到的樣本集的均值 x? 都服從均值為總體均值 μ，方差為 σ_x? = σ / n^1/2 的正態分布，其中 σ 為總體的均方差。在 描述統計 中根據切比雪夫定理和經驗法則，對于對稱分布的總體來說 95% 的樣本點會落在總體均值 μ ± 1.96σ 的范圍內。相應的對于 x? 這個隨機變量來說，95% 的抽樣的均值都會落在 μ ± 1.96σ_x? 這個范圍內。

Sampling distribution within ± 1.96 standard error

在此基礎上，如果我們將誤差限設置為 ± 1.96σ_x? 來構造區間估計 x? ± 1.96σ_x?，由于 μ ± 1.96σ_x? 這個區間內可以容納 95% 的 x? 的取值，在此基礎上可以知道以這個區間內的任意 x? 為中心的 ± 1.96σ_x? 的區間會都包含總體的均值 μ，或者說我們 95% 的確信總體的均值落在這個區間內。更為通俗的解釋是，如果被抽樣的總體服從正態分布，我們通過抽樣得到了 100 個 x?，在它們的基礎上構造了 100 個 x? ± 1.96σ_x? 的區間，那么我們可以完全相信，其中有 95 個區間包含總體的均值 μ。當總體不服從正態分布時，如果抽樣中包含的樣本數量足夠大，依然可以很精確的滿足這個條件。

Intervals formed from different sample means

在此稱我們以 95% 的置信水平 confidence level 構造了這個 95% 的置信區間，這里 95%為置信系數，常用 1 - α 表示。之所以這樣定義可以參見 假設檢驗 ，并且在下文中可以看到為了便于定義和查表使用，我們會基于 z_α/2 給出區間估計的定義，這個數值為對應右尾面積 upper tail area 為 α/2 的點的位置，也即隨機變量的取值落在這個點之外的概率為 α/2。置信水平越高，置信系數越大，區間估計的區間跨度也越大，也即誤差限越大。并且，從上述計算公式可知，當為了滿足一定的置信水平而得到的誤差限過大時，可以通過增加抽樣元素的數量 n 來縮小這個誤差限。

更一般地，我們將總體的 σ 已知的樣本均值的置信區間的構造形式定義如下：

Interval estimates with population standard deviation known

總體方差未知時總體均值的區間估計

前面已經提到，在絕大多數情況下，我們想要研究的總體的方差都是未知的，在這個情況下，我們就需要采用抽樣得到的樣本集來同時估計 μ 和 σ，在這里我們采用樣本標準誤差 s 來估計總體的標準差 σ，在此基礎上由于誤差限和區間估計都將基于 s 得到，我們稱 σ 未知情況下的樣本均值的分布形態稱為 t 分布，或者根據其早期研究者 William Sealy Gosset 的筆名 Student 命名為 Student 分布。對于 t 分布來說，如果被抽樣的總體服從正態分布，則其數學表達最為嚴謹，但當總體不服從正態分布時其在很多情況下也適用。

t 分布的一個重要特征是它需要定義一個自然數表示的自由度 degrees of freedom，并且隨著自由度的增加，t 分布與正態分布的區別越來越小，注意從下圖中可以看出 t 分布的均值為 0。對應同樣的 α 值，自由度越大，最終構造的誤差限越小。

t distribution will become closer to normal distribution as degrees of freedom increases

為了區分 t 分布，我們用 t_α/2 來代替 z_α/2 來表示概率密度函數圖像中右尾面積為 α/2 的點的位置。

t distribution with α/2 probability in the upper tail

在構造區間估計時，我們用抽樣得到的標準誤差 s 來估計總體的標準差，至此總體方差未知的區間估計的一般定義為：

Interval estimates with population standard deviation unknown

由于對于任意樣本集都有 Σ(x_i - x?) = 0，因此在計算標準誤差 s 時，分子中 Σ(x_i - x?)² 這一項中有 n - 1 個獨立的參數，所以對應這個 t 分布的自由度為 n - 1。

從上面的計算可以看出，之所以要區分 σ 已知和未知兩種情形，是在于當 σ 已知時，對于指定的置信系數 1- α，其誤差限 z_α/2σ / n^1/2對于不同的樣本集是固定的。而當 σ 未知時，由于涉及到不同樣本集的 s 的計算，因此誤差限對于不同的樣本集是不同的，此時就需要充分考慮到自由度的影響。

總體中具有某個特征的樣本的比例 p 的區間估計

這一部分有很多相關討論和均值類似，當 np ≥ 5 且 n(1 - p) ≥ 5 時這個二項分布可以近似用正態分布做計算。且由于 p 是未知的，所以需要標準誤差來近似總體的誤差，即采用 p? 來計算 σ_p?。

Interval estimates of a population proportion

免責聲明

我寫這個筆記是為了系統的復習概率論中的一些概念，閱讀的是 Statistics for Business and Economics, 12th Edition 英文原版，這是一本非常經典的參考書，毫無保留的滿分推薦。盡管書名暗示了是在商業和經濟學中的統計學，但根本的統計學知識是不變量，并且和很多優秀的原版書一樣，作者時刻注意用實例來講解統計學概念，基本上每一個新的概念的定義都建立在日常生活的實例的基礎上，在此基礎上還保留了精美的排版和精心設計的插圖，十分便于理解。

筆記最重要的一個目的就是記錄者復習的重要資料，如果能對別人也有所幫助那就是額外的獎賞了，所以為了復習方便我擅自截取了書中的很多插圖，這些插圖僅限于個人學習使用。其他人請勿直接轉載，如轉載請刪除插圖并附帶這則免責聲明，否則由此而產生的版權問題，請轉載者自行承擔。