參數(shù)估計

使用統(tǒng)計量的目的是對感興趣的問題進行統(tǒng)計推斷，而實際中，許多問題是與分布族中的未知參數(shù)有關(guān)（參數(shù)估計和檢驗問題）

一般場合，常用 $\theta$ ?表示參數(shù)，參數(shù)? $\theta$ ?所有可能取值組成的集合稱為參數(shù)空間，常用 $\Theta$ ?表示。參數(shù)估計問題就是根據(jù)樣本構(gòu)造適當?shù)慕y(tǒng)計量對上述各種未知參數(shù)作出估計。
參數(shù)估計形式有兩種：點估計? 和? 區(qū)間估計。

點估計的概念與無偏性

如何構(gòu)造統(tǒng)計量并沒有明確規(guī)定，只要滿足一一定的合理性即可，最常見的合理性要求是無偏性

對于總體? $N(\mu,\sigma^2), x_1,x_2,...,x_n$ ?是樣本，則 $s^2$ ?是? $\sigma^2$ 的無偏估計， $s$ 不是 $\sigma$ ?的無偏估計，利用修正技術(shù)， $C_n\bullet s$ 是? $\sigma$ ?的無偏估計，其中? $C_n=\sqrt{\frac{n-1}{2} }\bullet \frac{\Gamma ((n-a)/2)}{\Gamma (n/2)}$ ?是正態(tài)標準差的修偏系數(shù)。當? $n\rightarrow \infty$ ?時有? $c_n\rightarrow 1$ , 說明s是 $\sigma$ 的漸近無偏估計，從而在樣本容量較大時，不經(jīng)修正的 s 也是? $\sigma$ ?的一個很好的估計。

大偏差通常被視為估計的一種不足，有人提出了多種縮小偏差的方法。以下介紹 刀切法。

并不是所有的參數(shù)都存在無偏估計，當參數(shù)存在無偏估計時，我們稱該參數(shù)是可估的，否則稱它是不可估的。

1）有效性
當參數(shù)可估時，其無偏估計可以有很多，直觀的想法是希望找到一個圍繞參數(shù)真值的波動越小越好的估計，波動大小可以用方差來衡量。因此，常用無偏估計的方差的大小作為度量無偏估計優(yōu)劣的標準，這就是有效性。

矩估計及相合性

1）替換原理和矩法估計
替換原理常指：
》用樣本矩去替換總體矩（這里的矩可以是原點矩也可以是中心矩）
》用樣本矩的函數(shù)去替換相應的總體矩的函數(shù)
根據(jù)這個替換原理,在總體分布形式未知場合也可對各種參數(shù)作出估計，如：
》用樣本均值? $\overline{x}$ 估計總體均值? $E(X)$
》用樣本方差? $s^2$ ?估計總體方差? $Var(X)$
》用事件 $A$ ?出現(xiàn)的頻率估計事件? $A$ ?發(fā)生的概率
》用樣本的? $p$ ?分位數(shù)估計總體的??分位數(shù)，特別，用樣本中位數(shù)估計總體中位數(shù)。
1）概率函數(shù)已知時未知參數(shù)的矩估計
? 當k=1時，通常可以由樣本均值出發(fā)對未知參數(shù)進行估計；如果 k=2，可以由一階、二階原點矩(或二階中心矩）出發(fā)估計未知參數(shù)。
(“矩” 是描述隨機變量分布特征的一類指標，如同使用不同的 “尺子” 去測量數(shù)據(jù)的分布形態(tài)。
原點矩是以坐標原點（0 點）為基準，對隨機變量進行不同次數(shù)的加權(quán)平均后的得數(shù)，用來描述數(shù)據(jù)分布的不同特征。k階原點矩就是把每個數(shù)據(jù)先k次方，再求平均值（考慮加權(quán)平均）。
一階原點矩是隨機變量的數(shù)學期望，即是把所有數(shù)據(jù)加起來除以個數(shù)，得到的平均值。它反映了數(shù)據(jù)的 “中心位置”。（直接平均）
二階原點矩是隨機變量平方后的期望值，即先把每個數(shù)據(jù)都平方，再求平均值。它和 “數(shù)據(jù)的離散程度” 有關(guān)，但不是方差。（平方后平均）
三階原點矩是隨機變量立方后的期望值，即先把每個數(shù)據(jù)都立方，再求平均值。它和”數(shù)據(jù)偏斜程度“有關(guān)，數(shù)據(jù)分布是否 “偏向正數(shù)” 或 “偏向負數(shù)”（是否左右不對稱）。
四階原點矩是?隨機變量平方再平方后的期望值，即先把每個數(shù)據(jù)四次方后再求平均值。它是峰度（數(shù)據(jù)分布是陡峭還是平緩）有關(guān)，衡量數(shù)據(jù)分布是否有“極端值”或“尾巴粗細“。
“原點” 的含義：所有計算都以 0 為起點，不考慮數(shù)據(jù)的平均值（對比 “中心矩” 是以平均值為起點）。
階數(shù)越高：對極端值越敏感（因為高次方會放大絕對值大的數(shù)），且奇數(shù)次方矩（三階、五階）會保留數(shù)據(jù)的符號信息（正 / 負偏向），偶數(shù)次方矩（二階、四階）只關(guān)注絕對值大小。
通俗講：原點矩看整體位置，二階看平方后的”能量”，三階看偏向；四階看極端程度，更高階看更細微的扭曲。
中心矩是以數(shù)據(jù)的“平均值”為中心（基準點），衡量每個數(shù)據(jù)與平均值的偏差的不同次數(shù)的加權(quán)平均，用來描述數(shù)據(jù)分布的形狀特征（如波動、偏斜、陡峭程度等）。k階中心矩就是把每個數(shù)據(jù)“減去平均值”，再作“k次方"，最后求平均值。
一階中心矩：永遠為0，沒實際用處
二階中心矩：即方差，每個數(shù)據(jù)先減去平均值后的平方的平均，衡量數(shù)量的離散程度或波動性。（波動）
三階中心矩：每個數(shù)據(jù)先減去平均值后的立方的平均，衡量分布的 “不對稱性”；（偏斜）
四階中心矩：每個數(shù)據(jù)先減去平均值后的四次方的平均，描述分布的 “陡峭程度” 或 “尾部厚度”，實際中常用 “標準化峰度”，來判斷數(shù)據(jù)是否比正態(tài)分布更”尖“或更”平“；（峰度）
日常分析中，二階中心矩（方差）和標準化后的三階、四階中心矩（偏斜度、峰度）是最常用的 “分布形狀指標”，幫我們快速判斷數(shù)據(jù)是 “對稱的”“分散的” 還是 “有極端值的”。

2）相合性：
點估計是一個統(tǒng)計量，因此它是一個隨機變量。如果有足夠的觀測值，根據(jù)格利文科定理，隨著樣本量不斷增大，經(jīng)驗分布函數(shù)逼近真實分布函數(shù)，因此完全可以要求估計量隨著樣本量的不斷增大而逼近參數(shù)真值，這就是相合性。

相合性被認為是對估計的一個最基本要求，如果一個估計量，在樣本量不斷增大時，它都不能把被估參數(shù)估計到任意指定的精度，那么這個估計是很值得懷疑的。通常，不滿足相合性要求的估計不予考慮。
若把依賴于樣本量n的估計量 $\hat{\theta _n}$ ?看作一個隨機變量序列，相合性就是? $\hat{\theta _n}$ 依概率收斂于0，所以證明估計的相合性可應用依概率收斂的性質(zhì)及各種大數(shù)定律。

由大數(shù)定律及定理6.2.2，矩估計一般都具有相合性，比如：
》樣本均值是總體均值的相合估計
》樣本標準差是總體標準差的相合估計
》樣本變異系數(shù)? $s/\overline{x}$ ?是總體變異系數(shù)的相合估計。
?

最大似然估計與EM算法

”最像“就是最大似然之意。如?有兩個箱子中各有100只球，甲箱中白球的比例是p1，乙箱中白球的比例是p2，已知p1>p2，現(xiàn)隨機地抽取一個箱子并從中抽取一球，假定取到的是白球，如果我們要在兩個箱子中進行選擇，由于甲箱中白球的比例高于乙箱，根據(jù)最大似然原理，我們應該推斷該球來自甲箱。

從最大似然估計的定義可以看到，若

L(\theta )

?與聯(lián)合概率函數(shù)相差一個與?

\theta

?無法的比例因子，不會影響最大似然估計，因此可以在?

L(\theta )

中剔去與

\theta

無關(guān)的因子。?

求導函數(shù)是求最大似然估計最常用的方法。
最大似然的不變性：

1）EM算法
MLE是一種非常有效的參數(shù)估計方法，但當分布中有多余參數(shù)或數(shù)據(jù)為截尾或缺失時，期MLE的求取是比較困難的。此時可采用EM算法，其出發(fā)點是把求MLE的過程分兩步走：第一步求期望，以便把多余的部分去掉，第二步求極大值。

2）漸近正態(tài)性
最大似然估計有一個良好性質(zhì)：它通常具有漸近正態(tài)性。

定理表明最大似然估計通常是漸近正態(tài)的，且其漸近方差?

\sigma_n^2(\theta )=(nI(\theta))^{-1}

有一個統(tǒng)一的形式，其中

I(\theta)

稱為費希爾信息量。（最大似然估計的漸近方差主要由費希爾信息量決定）

最小方差無偏估計

尋求點估計有各種不同的方法，對各種點估計的好壞有眾多的估計量評價標準，對同一估計量使用不同的評價標準可能會得到完全不同的結(jié)論。因此，在評價某一個估計好壞時首先要說明是在哪一個標準下，否則所論好壞則毫無意義。

1）均方誤差
相合性和漸近正態(tài)性是在大樣本場合下評價估計好壞的兩個重要標準：對無偏估計常使用方差，對有偏估計常使用均方誤差。

2）一致最步方差無偏估計

均方誤差由點估計的方差與偏差的平方兩部分組成。當要求

\hat{\theta }

是

\theta

的無偏估計時，均方誤差就簡化為估計的方差，此時一致最小均方誤差估計即為一致最小方差無偏估計。

關(guān)于UMVVUE的一個判斷準則

3）充分原則

如果無偏估計不是充分統(tǒng)計量的函數(shù)，則將之對充分統(tǒng)計量求條件期望可以得到一個新的無偏估計，該估計的方差比原來的估計的方差要小，從而降低了無偏估計的方差。換言之，考慮

\theta

的估計問題只需要在基于充分統(tǒng)計量的函數(shù)中進行即可，該說法對所有的統(tǒng)計推斷問題都成立，這便是所謂的充分性原則！！！?若充分統(tǒng)計量和UMVUE存在，則UMVUE一定可以表示為充分統(tǒng)計量的函數(shù)！！

4）克拉默-拉奧不等式

費希爾信息量是統(tǒng)計學中一個基本概念，

I(\theta )

越大可被解釋為總體分布中包含未知參數(shù)

\theta

的信息越多

有時可以用克拉默-拉奧不等式來判斷UMVUE（如果（6.4.5）中等號成立，則稱

T=T(x_1,x_2,...,x_n)

是

g(\theta )

的有效估計，有效估計一致是UMVUE

貝葉斯估計

統(tǒng)計中的有兩個大學派：頻率學派（也稱經(jīng)典學派）和貝葉斯學派。
1）統(tǒng)計推斷的基礎
經(jīng)典學派：統(tǒng)計推斷是根據(jù)樣本信息對總體分布或總體特征數(shù)進行推斷（統(tǒng)計推斷使用到兩種信息：總體信息和樣本信息）
貝葉斯學派：統(tǒng)計推斷除了使用總體信息和樣本信息外，還應使用先驗信息。
先驗信息：在抽樣（試驗）前有關(guān)統(tǒng)計問題的一些信息。一般說來，先驗信息來源于經(jīng)驗和歷史資料。
貝葉斯學派基本觀點：任一未知量 $\theta$ ?都可看作隨機變量，可用一個概率分布去描述，這個分布稱為先驗分布；在獲得樣本之后，總體分布、樣本與先驗分布通過貝葉斯公式結(jié)合起來得到一個關(guān)于未知量 $\theta$ ?的新分布——后驗分布；任何關(guān)于? $\theta$ ?的統(tǒng)計推斷都應基于? $\theta$ ?的后驗分布進行。

2）貝葉斯公式的密度函數(shù)形式

3）貝葉斯估計

4）共軛先驗分布
從貝葉斯公式可以看出，整個貝葉斯統(tǒng)計推斷只要先驗分布確定后就沒有理論上的困難。
關(guān)于先驗分布的確定有多種途徑，此處我們介紹一類最常用的先驗分布類--共軛先驗分布.

區(qū)間估計

1）區(qū)間估計的概念

2）樞軸量法

在抽樣調(diào)查中，置信水平

1-\alpha

也稱為保證概率，置信區(qū)間的半徑（長度的一半）

d_0

也稱為絕對誤差

3）單個正態(tài)總體參數(shù)的置信區(qū)間
（1） $\sigma$ 已知時? $\mu$ ?的置信區(qū)間

（2） $\sigma$ 未知時 $\mu$ 的置信區(qū)間

（3） $\sigma^2$ ?的置信區(qū)間

4）大樣本置信區(qū)間

5）樣本量的確定
樣本量確定問題：在一定要求下，至少需要多大的樣本量？下面介紹估計比率 $p$ 所需樣本量。

6）兩個正態(tài)總體下的置信區(qū)間
設? $x_1,x_2,...,x_m$ ?是來自? $N(\mu_1,\sigma_1^2)$ ?的樣本， $y_1,y_2,...,y_n$ ?是來自? $N(\mu_2,\sigma_2^2)$ ?的樣本，且兩個樣本相互獨立。 $\overline{x}$ ?與? $\overline{y}$ ?分別是它們的樣本均值， $s_x^2=\frac{1}{m-1}\sum_{i=1}^m(x_i-\overline{x})^2$ ?和? $s_y^2=\frac{1}{n-1}\sum_{i=1}^n(y_i-\overline{y})^2$ ?分別是它們的樣本方差。下面討論兩個均值和兩個方差比的置信區(qū)間。