一、總體(population)和樣本(sample)
總體:研究對(duì)象的整個(gè)群體。
樣本:從總體中選取的一部分。
樣本數(shù)量:有多少個(gè)樣本。
樣本大小(樣本容量):每個(gè)樣本里包含多少個(gè)數(shù)據(jù)。
抽樣分布:將樣本平均值的分布可視化。
二、中心極限定理(central limit theorem)
中心極限定理的作用:
1)用樣本來(lái)估計(jì)總體(民意調(diào)查)
2)根據(jù)總體信息,判斷某個(gè)樣本是否屬于總體(3個(gè)標(biāo)準(zhǔn)差,概率97%)
三、如何用樣本估計(jì)總體
(1)選用正確的抽樣方法
因?yàn)楹芏鄷r(shí)候我們無(wú)法選擇所有數(shù)據(jù)進(jìn)行調(diào)查,這時(shí)候一般采用從整體中抽取樣本進(jìn)行調(diào)研。
抽樣方法:簡(jiǎn)單隨機(jī)抽樣、分層抽樣、整群抽樣、系統(tǒng)抽樣等。
① 簡(jiǎn)單隨機(jī)抽樣
簡(jiǎn)單隨機(jī)抽樣就是通過(guò)隨機(jī)過(guò)程選取一個(gè)大小為n的樣本,所有大小為n的可能樣本被選中的可能性都相同。
簡(jiǎn)單隨機(jī)抽樣有兩種具體做法:重復(fù)抽樣和不重復(fù)抽樣。
重復(fù)抽樣:在選取一個(gè)抽樣單位并記錄下這個(gè)抽樣單位的相關(guān)信息之后,再講這個(gè)單位放回總體中。
不重復(fù)抽樣:抽取樣品后不再將其放回樣品總體。
② 分層抽樣
分層抽樣就是將總體按特征劃分為不同的層,對(duì)每一個(gè)層進(jìn)行隨機(jī)抽樣,然后查看每一個(gè)層在總體中所占的比例,最后按照相應(yīng)比例從每一個(gè)層中抽取。
③ 整群抽樣
整體抽樣就是將總體劃分為幾個(gè)相似的群,先通過(guò)簡(jiǎn)單隨機(jī)抽樣選取群,再對(duì)群里的對(duì)象進(jìn)行抽樣。
④ 系統(tǒng)抽樣
先選取一個(gè)數(shù)字k,然后每到k個(gè)對(duì)象就進(jìn)行抽取,組成樣本。
(2)利用樣本平均值約等于總體平均值(中心極限定理)
(3)利用總體標(biāo)準(zhǔn)差估計(jì):
(4)Python代碼實(shí)現(xiàn)
四、如何避免偏差
1)樣本偏差:抽樣空間中的條目不齊全,因此未包含目標(biāo)總體中的所有對(duì)象,俗稱(chēng)以偏概全。
避免措施:增大樣本數(shù)量,樣本越大越可靠,基于小樣本的結(jié)論一般存在以偏概全的問(wèn)題。
2)幸存者偏差:根據(jù)成功的樣本采集數(shù)據(jù),但由于其幸存者的概率是極小的,不具有代表性。
避免措施:學(xué)會(huì)多個(gè)角度全面觀察問(wèn)題,學(xué)會(huì)屏蔽噪音。
3)概率偏見(jiàn):就是根據(jù)人們心目中的概率(心理概率)和客觀的概率不吻合,而造成的偏差。
避免措施:學(xué)好統(tǒng)計(jì)與概率,用數(shù)學(xué)方法去驗(yàn)證,對(duì)于不能驗(yàn)證客觀概率的時(shí)候,多方面咨詢(xún)專(zhuān)業(yè)人士的看法,降低概率偏見(jiàn)的可能性。
4)信息繭房:指人們的信息領(lǐng)域會(huì)習(xí)慣性地被自己的興趣所引導(dǎo),從而將自己的生活桎梏于像蠶繭一般的“繭房”中的現(xiàn)象。
避免措施:避免個(gè)性化推薦。