2 不同設計之間有統計學差異嗎

本章主要介紹對均值、比例的假設檢驗，來判斷兩組不同設計之間是否有顯著差別。

1. 均值的比較 t檢驗

均值的比較一般可以用t檢驗，根據設計方式的不同可分為如下兩類

（1）配對樣本t檢驗

配對樣本，即相同的用戶參與了不同的測試。采用相同的用戶分別參加兩種不同的測試好處就是排除了用戶的個體干擾，面臨的問題就是需要對用戶先接觸哪個后接觸哪個做好平衡，不能讓兩個之間有影響。比如測試兩種藥品，先服用A藥后，已經對用戶產生了影響，再去服用B藥物的話就無法準確的看出效果了。

美食評判中，美食專家們都是品嘗完一道菜之后需要漱嘴然后才開始品嘗下一道菜，就是這個原因。

其中D表示兩個不同測試之間的差別。

t=\frac{\hat D}{S_D/\sqrt n}

(2) 雙總體t檢驗

即不同的用戶參與了不同的測試，一個A組，一個B組。通過兩組效果的差異進行比較。

假設兩個總體分別為X, Y

假設條件：

  • 兩組樣本不相關
  • 兩組樣本近似服從正態分布

在以上的前提假設下，Z=X-Y 也應該近似服從正態分布。且有
E(X) = E(X)- E(Y)
Var(Z) = Var(X-Y)= Var(X) + Var(Y)

均值的估計可以用樣本的均值差\bar x - \bar y， 而方差的估計就需要分情況討論了。

  • \sigma_1,\sigma_2已知，

Z=\frac{\bar x-\bar y -(\mu_1 - \mu_2)}{\sqrt{\sigma_1^2/n_1+\sigma_2^2/n_2}}~ N(0,1)

  • \sigma_1,\sigma_2 未知

    • 已知 \sigma_1=\sigma_2

    這個時候需要根據樣本1和樣本2的方差去聯合估計總體的方差

    Z=\frac{\bar x-\bar y -(\mu_1 - \mu_2)}{S_w\sqrt{1/n_1+1/n_2}} \sim N(0,1)
    其中聯合估計方差s_w=\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n1+n_2 -2}

    • 已知 \sigma_1\ne\sigma_2

    Z=\frac{\bar x-\bar y -(\mu_1 - \mu_2)}{\sqrt{s_1^2/n_1+s_2^2/n_2}} \sim t_{df'}

    其中t分布的自由度是df'=\frac{(s_1^2/n_1+s_2^2/n_2)^2}{\frac{(s_1^2/n1)^2/n_1}{n_1} + \frac{(s_2^2/n2)^2/n_2}{n_2}}

差異的效應(effect size)
除了差異是否顯著以外，在實際中我們還需要注意差異的效應，即這個差異究竟有多大

2.比例的比較

雙比例檢驗

雙總體的比例檢驗，比例其實可以看做是均值的一種特殊情況，所以雙總體的比例的比較也可以轉化為均值的比較。

Z=\frac{\bar p_1-\bar p_2 }{\sqrt{PQ(\frac{1}{n_1}+\frac{1}{n_2})}}~ N(0,1)

卡方檢驗
對于分類型變量，另一個常用的檢驗方法就是卡方檢驗。卡方檢驗首先是一種非參數檢驗方法，其并不依賴于原始數據的分布假定，卡方檢驗主要應用于分類變量的關聯性分析（關于卡方檢驗的后續再詳細介紹)。

對于2x2的列聯表來說

通過 失敗 總計
實驗A a b m
實驗B c d n
總計 r s N

\chi^2 = \frac{(ad-bc)^2N}{mnrs}

fisher精確檢驗

上述說的卡方檢驗和雙比例的檢驗其實都是一種近似，fisher精確檢驗依據超幾何分布，根據排列組合的概率來進行計算。

最后編輯于 ：
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發布，文章內容僅代表作者本人觀點，簡書系信息發布平臺，僅提供信息存儲服務。

推薦閱讀更多精彩內容