小馬哥課堂-統計學-無偏估計

定義引入

以之前的200,000蘋果的重量為例，200,000蘋果(或者更多)的重量都統計出來，不太現實。但我們可以先隨機抽取100個蘋果(作為一個樣本)，統計這100個蘋果的平均重量，記為\overline X_1。如果只是把\overline X_1作為總體的平均值，肯定是不準確的，因為再次隨機抽取100個蘋果，計算出的重量的平均值和\overline X_1肯定就不一樣了。那么，為了使統計結果更加準確，我們需要反復抽取多次，然后分別計算出每個樣本的平均值，分別記為:\overline X_1,\overline X_2, \overline X_3，\cdots \overline X_k，接著把這些數據再做平均，記為:E(\overline X)。那么，隨著反復抽樣次數的增多，E(\overline X)會趨于總體期望。如果E(\overline X)=\mu成立，那么E(\overline X)就是總體期望\mu的無偏估計。

定義

無偏估計是用樣本統計量來估計總體參數時的一種無偏推斷。估計量的數學期望等于被估計參數的真實值，則稱此估計量為被估計參數的無偏估計，即具有無偏性，是一種用于評價估計量優良性的準則。無偏估計的意義是：在多次重復下，它們的平均數接近所估計的參數真值。

In statistics, the bias (or bias function) of an estimator is the difference between this estimator's expected value and the true value of the parameter being estimated. An estimator or decision rule with zero bias is called unbiased. Otherwise the estimator is said to be biased.

樣本方差無偏性的證明

總體期望:\mu

總體方差:Var(x)=\sigma^2=\frac{1}{n} \cdot \displaystyle\sum_{i=1}^n (x_i-\mu)^2

樣本均值: \overline x=\frac{1}{n} \cdot \displaystyle\sum_{i=1}^n x_i

樣本方差: S^2=\frac{1}{n-1}\cdot \displaystyle\sum_{i=1}^n (x_i-\overline x)^2

為什么 要除以n-1, 才使得 樣本方差 是 總體方差 的無偏估計？為什么除以n,樣本方差比總體方差的值偏小？為什么要調大樣本方差是除以n-1，而不是n-2，n-3或者其他數？

假設，樣本方差定義為:S^2=\frac{1}{n}\cdot \displaystyle\sum_{i=1}^n (x_i-\overline x)^2，根據無偏估計的定義:E(S^2)=\sigma^2，那么

\begin{array}{rcl} E[S^2]&=&E[\frac{1}{n}\cdot \displaystyle\sum_{i=1}^n (x_i-\overline x)^2] \\ &=&E[\frac{1}{n}\cdot \displaystyle\sum_{i=1}^n [(x_i-\mu)+(\mu-\overline x)]^2] \\ &=& E[\frac{1}{n}\cdot\displaystyle\sum_{i=1}^n [(x_i-\mu)^2+2(x_i-\mu)(\mu-\overline x)+(\mu-\overline x)^2]] \\&=& E[\frac{1}{n}\cdot\displaystyle\sum_{i=1}^n (x_i-\mu)^2]+E[\frac{2}{n} \cdot \displaystyle\sum_{i=1}^n(x_i-\mu)(\mu-\overline x)] + E[\frac{1}{n}\cdot\sum_{i=1}^n(\mu-\overline x)^2] \qquad (1)\\ &=& E[\frac{1}{n}\cdot\displaystyle\sum_{i=1}^n (x_i-\mu)^2]+ \end{array}

\begin{array}{rcl} \frac{2}{n}\cdot\displaystyle\sum_{i=1}^n(x_i-\mu)(\mu-\overline x) &=&\frac{2}{n}\cdot(\mu-\overline x)\cdot\displaystyle\sum_{i=1}^n(x_i-\mu) \\ &=&2\cdot(\mu-\overline x)\cdot \frac{1}{n}\displaystyle\sum_{i=1}^n(x_i-\mu) \qquad (\overline x=\frac{1}{n} \cdot \displaystyle\sum_{i=1}^n x_i) \\&=&2\cdot(\mu-\overline x)\cdot(\overline x-\mu) \end{array}

\begin{array}{rcl} E[S^2]&=&E[\frac{1}{n}\cdot\displaystyle\sum_{i=1}^n (x_i-\mu)^2]+E[\frac{2}{n} \cdot \displaystyle\sum_{i=1}^n(x_i-\mu)(\mu-\overline x)] + E[\frac{1}{n}\cdot\sum_{i=1}^n(\mu-\overline x)^2] \qquad (1)\\ &=& E[\frac{1}{n}\cdot\displaystyle\sum_{i=1}^n (x_i-\mu)^2]-E[2(\overline x - \mu)^2] + E[(\mu-\overline x)^2] \qquad \text{,根據期望的性質E[C]=C} \\ &=&E[\frac{1}{n}\cdot\displaystyle\sum_{i=1}^n (x_i-\mu)^2] - E[(\mu-\overline x)^2] \qquad (2)\end{array}

根據總體方差的定義:Var(x)=\sigma^2=\frac{1}{n} \cdot \displaystyle\sum_{i=1}^n (x_i-\mu)^2
總體x服從N(\mu,\sigma^2)
樣本均值\overline x的抽樣分布服從N(\mu, \frac{\sigma^2}{n}),那么E[S^2]=E[\sigma^2]-E[(\mu-\overline x)^2]= \sigma^2-\frac{\sigma^2}{n}=\frac{n-1}{n}\cdot\sigma^2<\sigma^2
所以當樣本方差的分母是n時,樣本方差總小于總體方差。如果我們將分母n替換為n-1,似乎就是無偏估計了，那么，到底是不是這樣呢，下面再推導一遍：

我們知道，樣本方差: S^2=\frac{1}{n-1}\cdot \displaystyle\sum_{i=1}^n (x_i-\overline x)^2

\begin{array}{rcl} E[S^2]&=&E[\frac{1}{n-1}\cdot \displaystyle\sum_{i=1}^n (x_i-\overline x)^2] \\ &=&E[\frac{1}{n-1}\cdot \displaystyle\sum_{i=1}^n [(x_i-\mu)+(\mu-\overline x)]^2] \\ &=& E[\frac{1}{n-1}\cdot\displaystyle\sum_{i=1}^n [(x_i-\mu)^2+2(x_i-\mu)(\mu-\overline x)+(\mu-\overline x)^2]] \\&=& E[\frac{1}{n-1}\cdot\displaystyle\sum_{i=1}^n (x_i-\mu)^2]+E[\frac{2}{n-1} \cdot \displaystyle\sum_{i=1}^n(x_i-\mu)(\mu-\overline x)] + E[\frac{1}{n-1}\cdot\sum_{i=1}^n(\mu-\overline x)^2] \qquad (3)\\ &=& \end{array}

\begin{array}{rcl} \frac{2}{n-1}\cdot\displaystyle\sum_{i=1}^n(x_i-\mu)(\mu-\overline x) &=&\frac{2}{n-1}\cdot(\mu-\overline x)\cdot\displaystyle\sum_{i=1}^n(x_i-\mu) \\ &=&\frac{2}{n-1}\cdot(\mu-\overline x)\cdot \frac{n}{n}\displaystyle\sum_{i=1}^n(x_i-\mu) \qquad (\overline x=\frac{1}{n} \cdot \displaystyle\sum_{i=1}^n x_i) \\&=&\frac{2n}{n-1}\cdot(\mu-\overline x)\cdot(\overline x-\mu) \end{array}

\begin{array}{rcl} E[S^2]&=&E[\frac{1}{n-1}\cdot\displaystyle\sum_{i=1}^n (x_i-\mu)^2]+E[\frac{2n}{n-1} \cdot \displaystyle\sum_{i=1}^n(x_i-\mu)(\mu-\overline x)] + E[\frac{1}{n-1}\cdot\sum_{i=1}^n(\mu-\overline x)^2] \qquad (1)\\ &=& E[\frac{1}{n-1}\cdot\displaystyle\sum_{i=1}^n (x_i-\mu)^2]-\frac{2n}{n-1}E[(\overline x - \mu)^2] + \frac{n}{n-1}E[(\mu-\overline x)^2] \qquad \text{,根據期望的性質E[C]=C} \\ &=&\frac{n}{n-1}\cdot E[\frac{1}{n}\cdot\displaystyle\sum_{i=1}^n (x_i-\mu)^2] -\frac{n}{n-1} E[(\mu-\overline x)^2] \qquad \\&=&\frac{n}{n-1}\cdot\sigma^2-\frac{n}{n-1}\cdot\frac{\sigma^2}{n} \\ &=&\frac{n-1}{n-1}\cdot\sigma^2\end{array}

所以呢,E[S^2]=\sigma^2,S^2=\frac{1}{n-1}\cdot \displaystyle\sum_{i=1}^n (x_i-\overline x)^2是總體方差的無偏估計。

貝塞爾校正(Bessel's correction)

通常，\frac{1}{n-1}稱為貝塞爾校正系數。有的文獻上也將\frac{n}{n-1}也稱為貝塞爾校正系數

In statistics, Bessel's correction is the use of n ? 1 instead of n in the formula for the sample variance and sample standard deviation, where n is the number of observations in a sample.This method corrects the bias in the estimation of the population variance. It also partially corrects the bias in the estimation of the population standard deviation.

?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發布，文章內容僅代表作者本人觀點，簡書系信息發布平臺，僅提供信息存儲服務。

推薦閱讀更多精彩內容