1、如何理解 統(tǒng)計學(xué)的三個目標(biāo):描述、決定和預(yù)測
為什么會有統(tǒng)計學(xué)?
我們使用直覺來回答問題的時候,經(jīng)常會得到錯誤的答案,比如我們大家都經(jīng)歷過讀書升學(xué),有兩所學(xué)校,A學(xué)校初中升普通高中有300人,B學(xué)校初中升普通高中有100人,聽起A學(xué)校應(yīng)該比B學(xué)校好,可是如果A學(xué)校是500人中有300升普通高中,對應(yīng)B學(xué)校是150人中100升普通高中,顯然B學(xué)校升學(xué)率高于A學(xué)校。同樣,下了一輩子象棋的老頭與專門學(xué)習(xí)象棋的小學(xué)生對弈,誰能獲勝?如果從直觀經(jīng)驗上來看,老頭的經(jīng)驗豐富,應(yīng)該更能獲勝。統(tǒng)計思維提供了一種理解復(fù)雜世界的方法,為我們提供更準(zhǔn)確理解 世界和克服我們主觀判斷偏差的工具。
2、統(tǒng)計學(xué)給我們帶來了什么?
統(tǒng)計學(xué)主要做了三件事:描述、決策、預(yù)測。
在統(tǒng)計學(xué)中,通過整理、概括和可視化數(shù)據(jù)來描述我們觀察的對象,反應(yīng)出測試對象的基本特征(分布、集中與離散)、增加我們對對象的理解,這就是統(tǒng)計學(xué)中用數(shù)字來描述事物;比如說,我們高考時,對大學(xué)的選擇會根據(jù)我們過往月考成績來進(jìn)行預(yù)測我們可以考得什么大學(xué),最后再結(jié)合平時成績和大學(xué)的情況來決定我們考那所大學(xué)(決策過程)。
3月 4月 5月 一模 二模 三模
語文 132/150 128/150 135/150 131/150 140/150 142/150
數(shù)學(xué) 145/150 135/150 145/150 142/150 148/150 148/150
英語 143/150 140/150 146/150 146/150 145/150 148/150
物理 95/100 88/100 95/100 97/100 99/100 98/100
化學(xué) 92/100 82/100 90/100 94/100 96/100 95/100
生物 88/100 85/100 88/100 90/100 93/100 93/100
總分? ? ? ? 695/750? ? 658/750? ? 699/750? 700/750? ? 721/750? ? 724/750? 平均份為699.6
3、先驗、聚合、不確定性、從總體中采樣:
在《統(tǒng)計七大支柱》中介紹了統(tǒng)計學(xué)的學(xué)科基礎(chǔ),介紹了七個基本原則或想法。
在統(tǒng)計分析過程中,我們都是從一些關(guān)于可能性的假設(shè)出發(fā),從已知的數(shù)據(jù)中進(jìn)行學(xué)習(xí)的。統(tǒng)計學(xué)中就有一個重要概念“已驗知識(prior knowledge),指的是進(jìn)行某項研究、分析或決策之前已經(jīng)掌握的知識或信息。比如我們過往的月考成績或模考成績就是我們已知的”先驗知識“,它代表我們從已經(jīng)數(shù)據(jù)中學(xué)習(xí)到的東西。比如,我們旅行住宿,我們在平臺上預(yù)訂了一家酒店,如果我們在平臺上看到它的評分是三星級,同時都是好評時,我們會覺得這家酒店還不錯的感覺。如果我們看到的評分是三星級便評論中有不少差評,那么我們會覺得這家酒店也就這樣。在我們住店后的再進(jìn)行評分時,我們會有一個具直觀的印象。所以先驗知識取決于我們得到的經(jīng)驗值,同時也展示了如何使用新數(shù)據(jù)來更新我們先驗知識 (期望值) 的方法。
聚合:是統(tǒng)計學(xué)中的”丟棄數(shù)據(jù)“的一個工具,是統(tǒng)計學(xué)中的重要的概念之一。從上面提到的我們根據(jù)月考成績來預(yù)測所考大學(xué)時,我們將36個數(shù)字濃縮為6個數(shù)字(總分),拋棄了每門學(xué)科成績,提取了總分成績,在我們預(yù)測時確保沒有遺漏任何重要信息。比如我們在預(yù)訂酒店時查看平臺上對該酒店的評論,我們可能更關(guān)注差評中所反饋的情況,而忽略那些沒有特別說明的評論,確保我們得出對這家酒店的自我評分。這就是統(tǒng)計學(xué)提供了描述數(shù)據(jù)聚合的方法,同時解釋了為什么這么做通常效果很好。但是我們在匯總數(shù)據(jù)時,仍然需要很小心,避免過度匯總。
不確定性:統(tǒng)計學(xué)是一種描述不確定性的工具,幫助我們在不確定的情況下做出決策,以及量化預(yù)測的不確定性。統(tǒng)計分析永遠(yuǎn)不能”證明“一個假設(shè),統(tǒng)計數(shù)據(jù)只是為我們提供了分析的證據(jù),這種分析是探索性的,并且是受到外界始終存在的不確定性的影響。從上面提到的根據(jù)月考成績來預(yù)測所考大學(xué),我們可以知道月考平均成績在700分左右,這個分?jǐn)?shù)可以考到一所不錯的大學(xué)。但這個分?jǐn)?shù)畢竟不是最終的高考成績,對大多數(shù)人來講,最終的高考成績與這個平均成績相差不大,但也還是存在個別 高考成績大大高于或低于 這個平均成績。這就是受到外界隨機(jī)的不確定性的影響。同樣的,比如我們可能對以往住宿過的某酒店印象非常好,它比較干凈等等,可是某一次住宿時,我們遇上某些不如意的事,就會對該酒店產(chǎn)生一些不好印象,直接影響我們心目中的評分,這也是受到外界不確定性的影響。
從總體中采樣:聚合思想意味著我們可以通過匯總數(shù)據(jù)來獲得有用的信息,但是我們需要多少數(shù)據(jù)才能提取到對我們有用的信息呢?統(tǒng)計學(xué)中 采樣的思想表明,我們可以根據(jù)總體中的少量樣本來總結(jié)總體,只要這些樣本是以正確的方式來抽取的。
4、統(tǒng)計學(xué)中的因果關(guān)系:
我們會聽到兩個觀察對象相關(guān)但不存在因果關(guān)系,相關(guān)關(guān)系不意味著存在因果關(guān)系,為什么這么講?
要說明因果關(guān)系,我們先來看兩種研究:實驗研究 和 觀察性研究。實驗性研究是研究者主動干預(yù),控制變量,比如隨機(jī)對照試驗來分析測量對象之間的關(guān)系,而觀察性研究則是被動觀察,不進(jìn)行干預(yù),過觀察和比較來分析現(xiàn)象之間的關(guān)系。我們通常認(rèn)為可以通過實驗控制特定因素(如隨機(jī)對照實驗)來證明因果關(guān)系,而觀察性研究由于無法控制混雜因素,通常只能顯示測量對象間的相關(guān)關(guān)系,不能確定因果關(guān)系。
隨機(jī)化如何提供因果關(guān)系的推斷能力呢?
首先,隨機(jī)化通過隨機(jī)分配研究對象到不同處理組(實驗組與對照組),使混雜變量在各組間分布趨于均衡,從而弱化或消除混雜因素對實驗的干擾。其次,隨機(jī)化使不同處理組之間在干預(yù)前的基線特征達(dá)到平衡,從而排除差異對因果效應(yīng)的干擾,確保組間基線具有可比性。最后,隨機(jī)化還滿足數(shù)據(jù)獨立同分布的前提。再以預(yù)訂酒店來例,我們旅行時需要在某地住宿,我們設(shè)定需要在某一商圈找一家三星級以上的酒店,所以我們在平臺上搜索時,選標(biāo)定離某地標(biāo)范圍內(nèi)的三星級以下的酒店過濾掉,列出一系列的三星/四星酒店(研究對象),然后再根據(jù)我們的喜好(比如品牌、連鎖等)隨機(jī)從這些酒店中選中幾家酒店進(jìn)行比較(即隨機(jī)分配產(chǎn)生不同的處理組),我們并沒不知道這些酒店的裝修年份、具體的點評,以及離地標(biāo)的遠(yuǎn)近、通行的便利程度等等,但這些酒店都達(dá)到了我們最低的要求(排除了混雜因素的影響,并使混雜變量),同時它的其它評比參數(shù)都是相互獨立的(滿足數(shù)據(jù)獨立同分布)。
雖然我們嘗試使用統(tǒng)計分析來解決這些混雜因素,但從數(shù)據(jù)中消除混淆因素的影響可能非常困難。因為有時隨機(jī)化會產(chǎn)生基本組,但對照組在某些重要方面存在差異。
變量控制又是如何提供因果關(guān)系的推斷能力呢?
通過主動調(diào)整和限制混雜變量的影響,減少混雜變量對因果的干擾。通過主動干預(yù)確保自變量是唯一系統(tǒng)差異來源。因為變量的有效性和無遺漏,從而提高了因果推斷的可信度。在酒店預(yù)訂過程中,我們主動通過篩選 房型、住宿類型、酒店品牌等來控制混雜變量的影響,確保搜索出來的結(jié)果是滿足我們最低需求的結(jié)果。