概率值的檢驗(yàn)丨數(shù)析學(xué)院

問(wèn)題

在對(duì)于定類數(shù)據(jù)的分析中,我們有時(shí)需要通過(guò)樣本概率檢驗(yàn)總體概率是否不同于某個(gè)既定的概率值,或是對(duì)比分組數(shù)據(jù)的分布情況,在R中,該如何處理這類問(wèn)題?

指南

在概率值的檢驗(yàn)中存在兩個(gè)常見的問(wèn)題:

  1. 總體中某一事件出現(xiàn)的概率是否不同于某一個(gè)給定的或是理論上的概率值(例如小明做判斷題是否50%概率答對(duì),50%概率答錯(cuò))?(擬合優(yōu)度檢驗(yàn))
  2. 某兩組樣本中的某一事件概率是否服從同一分布?(獨(dú)立性檢驗(yàn))

我們通常會(huì)運(yùn)用統(tǒng)計(jì)檢驗(yàn)的方法來(lái)解決上述的問(wèn)題,所用的檢驗(yàn)方法可被分為精確檢驗(yàn)與近似檢驗(yàn)。


注:精確二項(xiàng)檢驗(yàn)只能適用于僅含有兩個(gè)層級(jí)的變量,而Fisher確切概率法則只能適用于二維列聯(lián)表(例如,我們可以在存在一個(gè)自變量和一個(gè)因變量時(shí)使用它,卻不能在村咋兩個(gè)自變量和一個(gè)因變量時(shí)使用它。)

為了確認(rèn)數(shù)據(jù)中的匹配關(guān)系或是對(duì)象間的影響,這里我們用到了McNemar檢驗(yàn)。需要說(shuō)明的是,在我們使用這個(gè)方法之前,必須確保我們有且只有一個(gè)自變量和一個(gè)因變量,每一個(gè)變量中有且只有兩個(gè)層級(jí)(兩種類別屬性)。

通過(guò)重復(fù)測(cè)量的方法我們可以對(duì)兩個(gè)變量間的獨(dú)立性進(jìn)行檢驗(yàn),這其中用到了Cochran-Mantel-Haenszel檢驗(yàn)。

假設(shè)下面就是我們的數(shù)據(jù),其中每一條記錄行代表一個(gè)樣本:

通常情況下,我們可能不會(huì)愿意對(duì)這樣的樣本記錄列表進(jìn)行直接的處理,相比而言,一個(gè)變量組合情況的計(jì)數(shù)表或是一個(gè)列聯(lián)表更容易被數(shù)據(jù)分析工作者所接受。在此,我們必須將它轉(zhuǎn)化為一個(gè)列聯(lián)表的形式,具體的方法我們?cè)凇癛語(yǔ)言行動(dòng)指南-38 數(shù)據(jù)框與列聯(lián)表的轉(zhuǎn)換”中做過(guò)介紹。

擬合優(yōu)度檢驗(yàn)(基于一個(gè)給定的預(yù)期概率)

卡方檢驗(yàn)

我們的目標(biāo)為檢驗(yàn)原假設(shè)——反應(yīng)結(jié)果的兩種數(shù)值(0和1,不考慮condition)在總體中出現(xiàn)的概率是均等(各為50%)的:


在對(duì)一個(gè)非均等概率的假設(shè)進(jìn)行檢驗(yàn)時(shí),我么需要對(duì)chisq.test函數(shù)的參數(shù)p進(jìn)行設(shè)置(下面的例子是假設(shè)概率為0.75:0.25的情況):

如果你想從檢驗(yàn)的結(jié)果中提取信息的話,你可以將其儲(chǔ)存為一個(gè)變量,并用str()函數(shù)對(duì)其進(jìn)行查看,最后從中篩選出你想要的信息,如下所示:

精確二項(xiàng)檢驗(yàn)

精確二項(xiàng)檢驗(yàn)只能適用于我們的數(shù)據(jù)中僅有一個(gè)二元變量的情況,比如說(shuō)下面的例子。


如果你想從檢驗(yàn)的結(jié)果中提取信息的話,你可以將其儲(chǔ)存為一個(gè)變量,并用str()函數(shù)對(duì)其進(jìn)行查看,最后從中篩選出你想要的信息,如下所示:


獨(dú)立性檢驗(yàn)(兩個(gè)數(shù)據(jù)組的對(duì)比)

卡方檢驗(yàn)

為了檢驗(yàn)控制組(control)與實(shí)驗(yàn)組(treatment)是否存在顯著的概率差異,我們需要用到二維的列聯(lián)表結(jié)構(gòu)。

對(duì)于2x2的列聯(lián)表,函數(shù)會(huì)默認(rèn)采用Yates連續(xù)性校準(zhǔn)的方法對(duì)其中的統(tǒng)計(jì)樞軸量進(jìn)行調(diào)整,這一方法再檢驗(yàn)樣本規(guī)模較小的數(shù)據(jù)時(shí)較為保守。當(dāng)我們?cè)O(shè)置參數(shù)correct=FALSE時(shí),函數(shù)將會(huì)直接使用一般的Pearson卡方統(tǒng)計(jì)量作為樞軸量而不會(huì)去調(diào)整它。

Fisher確切概率法

對(duì)于樣本規(guī)模小的數(shù)據(jù),在概率檢驗(yàn)時(shí)Fisher確切概率法也許會(huì)顯得更為適用。這一方法普遍運(yùn)用于2x2列聯(lián)表即小樣本數(shù)據(jù)集的原因是,當(dāng)面對(duì)復(fù)雜一些的表格(例如2x3列聯(lián)表)或樣本量更大的數(shù)據(jù)集時(shí),它需要十分巨大的計(jì)算量。但在R中,計(jì)算量的問(wèn)題得到了解決,我們同樣可以將它應(yīng)用于對(duì)某些大樣本數(shù)據(jù)的處理中。

Cochran-Mantel-Haenszel檢驗(yàn)

Cochran-Mantel-Haenszel檢驗(yàn)(CHM檢驗(yàn),或稱Mantel-Haenszel檢驗(yàn))用于檢驗(yàn)兩組重復(fù)測(cè)量得到的二分變量之間的獨(dú)立性。該方法的運(yùn)算通常基于2x2xK的列聯(lián)表,其中K為測(cè)量值的類別數(shù)。例如,我們想要研究一下某一激勵(lì)或?qū)嶒?yàn)(吃藥vs.沒(méi)吃藥)是否對(duì)醫(yī)患的康復(fù)率(康復(fù)或沒(méi)康復(fù))產(chǎn)生顯著的影響,現(xiàn)在假設(shè)這一激勵(lì)發(fā)生于每天的三個(gè)時(shí)間段:早上、下午、晚上——我們?cè)谶M(jìn)行檢驗(yàn)時(shí)必須控制這些變量。此時(shí)我們的CHM檢驗(yàn)將會(huì)基于一個(gè)2x2x3的列聯(lián)表,其中第三個(gè)變量就是我們所要控制的時(shí)間段變量。

實(shí)際上,在R中的CHM檢驗(yàn)可以處理的數(shù)據(jù)維度不局限于2x2xK,你也可以用這一方法去檢驗(yàn)一個(gè)3x3xK的列聯(lián)表數(shù)據(jù)。

在下面的例子(引用于McDonald的《Handbook of Biological Statistics》)中,我們可以看到三個(gè)變量:Location,Allele,以及Habitat。我們的目標(biāo)為在將Location作為控制變量的情況下,檢驗(yàn)Allele (94或non-94)和Habitat (marine 或estuarine)是否相互獨(dú)立。

我們需要注意的是,上列數(shù)據(jù)是以一個(gè)變量組合計(jì)數(shù)表的形式作為輸入的,而不是我們之前所見的樣本記錄列表。所以在這里我們要使用xtabs()函數(shù)將其轉(zhuǎn)換為列聯(lián)表形式,而非之前的table()函數(shù)。


通過(guò)上述檢驗(yàn)我們可以發(fā)現(xiàn),在以Location為控制變量的條件下,變量Allele和變量Habitat之間存在顯著的相互影響,p=.025。

這里需要我們注意的是,在上述方法中,列聯(lián)表內(nèi)的頭兩個(gè)變量處于對(duì)等的地位關(guān)系(所以我們可以任意改變它們之間的次序而不會(huì)影響到檢驗(yàn)的最終結(jié)果),而最后一個(gè)變量的地位則和它們不同,下面的例子將進(jìn)一步說(shuō)明它。

McNemar檢驗(yàn)

McNemar檢驗(yàn)從概念上來(lái)說(shuō)很像是對(duì)于概率數(shù)據(jù)的組內(nèi)檢驗(yàn)。例如,現(xiàn)在我們要研究某一個(gè)激勵(lì)是否顯著增加了一個(gè)人在某個(gè)問(wèn)題上回答“yes”的可能性,而對(duì)于每一個(gè)志愿者我們都進(jìn)行了激勵(lì)前的先驗(yàn)調(diào)查與激勵(lì)后的后驗(yàn)調(diào)查,并記錄下了他們的回答。在這個(gè)案例中,傳統(tǒng)的卡方檢驗(yàn)并不適用,因?yàn)榭ǚ綑z驗(yàn)本身假設(shè)樣本之間的相互獨(dú)立,但事實(shí)并非如此。此時(shí),McNemar檢驗(yàn)就可以大顯身手了,并且這種方法只能適用于對(duì)同一個(gè)二分變量進(jìn)行兩次測(cè)量的情況。對(duì)于一個(gè)2x2的列聯(lián)表,McNemar檢驗(yàn)在結(jié)果上也許會(huì)與“一般”的卡方檢驗(yàn)幾乎近似,但從方法的結(jié)構(gòu)上來(lái)看,二者截然不同。

假設(shè)下面便是我們的數(shù)據(jù),每一個(gè)對(duì)象樣本都對(duì)應(yīng)著一組激勵(lì)前與激勵(lì)后的數(shù)據(jù)。


如上所示,如果我們的數(shù)據(jù)不屬于寬數(shù)據(jù),那么我應(yīng)該先將它轉(zhuǎn)換為寬型。

接著,根據(jù)變量post和變量pre構(gòu)建列聯(lián)表:

再構(gòu)建了合適的列聯(lián)表之后,調(diào)用函數(shù)進(jìn)行檢驗(yàn):

對(duì)于小樣本數(shù)據(jù),McNemar檢驗(yàn)的過(guò)程中用到了連續(xù)性校對(duì),如果我們不需要這樣的調(diào)整過(guò)程,我們也可以通過(guò)調(diào)用exact2x2包,來(lái)使用一個(gè)精確版本的McNemar檢驗(yàn)。


復(fù)制鏈接,通過(guò)電腦學(xué)習(xí)效果最佳:http://datacademy.io/lesson/66

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

推薦閱讀更多精彩內(nèi)容