目錄
- 1.概率論基礎
- 2.統計量
- 3.大數定律
- 4.中心極限定理
- 5.最大似然估計
1. 概率論基礎
1.1 概率論基本概念
1.1.1 什么是概率
表示事件發生可能大小的一個量叫做概率。
1.1.2 概率公式
（1）條件概率公式
P(A|B)稱為事件B發生的情況下A發生的概率，計算公式如下：
通常，條件概率P(A|B)和無條件概率P(A)是不同的。
（2）全概率公式
在很多實際問題中，往往不易直接求出概率
P(A)，但卻容易找到S的一個劃分B1,B2,...,Bn，且Bi和P(A|Bi)為已知，則根據全概率公式很容易求出P(A)。
（3）貝葉斯公式
根據前面條件概率公式和全概率公式可以推導出貝葉斯公式，如下：
在這里，P(Bi)是B的先驗概率，之所以稱為“先驗”，是因為不需要考慮任何A方面的因素。
1.2 常見概率分布
1.2.1 0-1分布
0-1分布是經常遇到的一種分布，定義如下：
并且：
期望 E(X) = 1p + 0(1-p) = p
方差 D(X) = E(X^2) - [E(X)]^2 = pq
1.2.2 二項分布
設實驗E只有兩個可能結果A和B，則稱E為伯努利(Bernoulli)實驗，設P(A)=p（0<p<1），此時P(B)=1-p，將E獨立重復的執行n次，則稱這一串的重復實驗為n重伯努利實驗。
伯努利實驗的特點：
- 重復，即每次實驗的概率是相同的
- 獨立，各次實驗的結果互不影響
- 每次實驗可能的結果只有兩個，即A&B
二項分布即重復n次的伯努利實驗，每次實驗結果為A的概率是p，結果為B的概率是q(其中q=1-p)，則在n次實驗中有k次為A，n-k次結果為B的概率為：
即有
顯然
觀察下面這個表達式
發現剛好是(p+q)^n 的展開式中出現p^k的那一項，我們稱隨機變量X服從參數為n,p的二項分布，并記為X~b(n,p)。
當n=1時，二項分布就是(0-1)分布
期望E(X)為
方差D(X)為
1.2.3 泊松分布
泊松分布適合描述單位時間（空間）內隨機事件的發生次數，例如，一本書一頁中的印刷錯誤數、某地區一個時間間隔內發生交通事故的次數等。
在總結以下幾個概率分布前，先解釋一下連續型隨機變量。
一般，如果對于隨機變量X的分布函數F(x)，存在非負函數f(x)，使對于任意實數x有
則稱X為連續性隨機變量，其中函數f(x)稱為X的概率密度函數，簡稱概率密度。
實際應用中遇到的基本上是離散型或者連續性隨機變量，本文也只討論這兩種隨機變量。
概率密度函數有以下幾個特點：
下面總結一下三種重要的連續型隨機變量的概率密度。
1.2.4 均勻分布
若連續型隨機變量X具有概率密度
則稱X在區間(a,b)上服從均勻分布，記為X~U(a,b)
很容易推導出X的分布函數為
1.2.5 指數分布
若連續型隨機變量X概率密度為
其中，θ>0為常數，則稱X服從參數為θ的指數分布。
1.2.6 正態分布
若連續型隨機變量X的概率密度為
其中μ,σ(σ>0)為常數，則稱X服從參數為μ,σ的正態分布或高斯分布(Gauss)，記為X~N(μ,σ^2)
1.2.7 Beta分布
暫時省去500字
2.統計量
2.1 獨立和不相關
給定A,B兩個事件，如果滿足等式
P(AB) = P(A)P(B)
則稱事件A,B相互獨立，簡稱A,B獨立。
其中：
獨立一定不相關；
不相關不一定獨立；
實際上不相關就是兩者沒有線性關系，但是不排除存在其他關系的可能性，而獨立就是不存在任何關系。
2.2 期望
2.2.1 定義
-
離散型
-
連續型
2.2.2 性質
-
無條件成立
- E(kX) = kE(X)
- E(X + Y) = E(X) + E(Y)
若X和Y相互獨立
E(XY) = E(X)E(Y) 反之不成立
2.2 方差
2.2.1 定義
設X是一個隨機變量，若E{[X-E(X)]^2}存在，則稱E{ [X-E(X)]^2 }是X的方差，記做D(X)或者Var(x)，即
D(X)=Var(x)=E{[X-E(X)]^2}
2.2.2 性質
-
無條件成立
- Var(c) = 0
- Var(X+c) = Var(X)
- Var(kX) = k^2Var(X)
-
X和Y相互獨立
- Var(X+Y) = Var(X) + Var(Y)
2.3 協方差
2.3.1 定義
E{[X-E(X)][Y-E(Y)]}稱為隨機變量X與Y的協方差，記為Cov(X,Y)。
協方差是兩個變量是否具有相同變化趨勢的度量：
- 若Cov(X,Y) > 0，他們的變化趨勢相同；
- 若Cov(X,Y) < 0，他們的變化趨勢相反；
- 若Cov(X,Y) = 0，他們不相關；
2.3.2 性質
- Cov(X,Y) = Cov(Y,X)
- Cov(aX+b, cY+d) = acCov(X,Y)
- Cov(X1+X2,Y) = Cov(X1,Y) + Cov(X2,Y)
- Cov(XY) = E(XY) - E(X)E(Y)
而
稱為隨機變量X和Y的相關系數
參考資料：
[1] 《概率論與數理統計（浙大 第四版）》
