關(guān)于A/B測(cè)試你需要知道的10條準(zhǔn)側(cè)

在產(chǎn)品迭代或運(yùn)營(yíng)優(yōu)化策略上,聰明的團(tuán)隊(duì)總是會(huì)為同一個(gè)增長(zhǎng)目標(biāo)提供多個(gè)解決方案,如何擇其一還能保證最終效果是最優(yōu)的,很多時(shí)候,就會(huì)用數(shù)據(jù)來(lái)輔助決策。這時(shí)候,A\B測(cè)試就顯得必不可少,對(duì)于這樣的科學(xué)實(shí)踐,方法論顯得尤為重要,譯文即為原作者總結(jié)的A/B測(cè)試的10條準(zhǔn)則。

規(guī)則一:拋棄固有的認(rèn)知

很多時(shí)候,我們會(huì)基于用戶的屬性信息,特別是年齡,性別,地域或收入來(lái)認(rèn)識(shí)他們,盡可能不要醬紫,曾經(jīng)用戶的信息是尋找目標(biāo)用戶的最佳方式(或唯一方式),的確,他現(xiàn)在也依然重要,但在線上市場(chǎng),我們有了非常多的切入點(diǎn)去一對(duì)一去探索用戶最真實(shí)需求的能力。

規(guī)則二:明確當(dāng)前指標(biāo)值

轉(zhuǎn)化率優(yōu)化是你急需著手的目標(biāo),但是,在進(jìn)行高風(fēng)險(xiǎn)的A/B測(cè)試之前,需要提前確定一個(gè)基準(zhǔn)線,如果不知道當(dāng)前的轉(zhuǎn)化率,又怎么能知道未來(lái)的測(cè)試是否成功呢?

規(guī)則三:別人的經(jīng)驗(yàn)不一定適用于你

如果某一轉(zhuǎn)化率優(yōu)化策略適用于所有產(chǎn)品,那還有什么必要測(cè)試呢?這樣的話,所有人只需要借(chao)鑒(xi)即可。其實(shí),區(qū)別還是很大的。

假設(shè)A公司是賣(mài)鞋的電商平臺(tái),B公司是企業(yè)級(jí)服務(wù)的平臺(tái),很明顯,就算他們有相同的客戶,購(gòu)買(mǎi)決策周期也完全不一樣,對(duì)A公司而言,把購(gòu)買(mǎi)按鈕從紅色換成綠色可能會(huì)帶來(lái)15%的銷(xiāo)量增長(zhǎng),But,放到B公司,卻不一定有同樣的結(jié)果。

規(guī)則四:盡可能保證變量唯一

當(dāng)做AB測(cè)試時(shí),一次測(cè)試只測(cè)試一個(gè)變量有助于讓結(jié)果更有說(shuō)服力。

規(guī)則五:在沒(méi)達(dá)到置信水平時(shí)不要下結(jié)論

在AB測(cè)試中,統(tǒng)計(jì)置信是指當(dāng)同一個(gè)測(cè)試再次被進(jìn)行時(shí),有同樣結(jié)果的可能性。換句話說(shuō),是看你測(cè)試結(jié)果的確定性。

舉例,假如你在做一項(xiàng)購(gòu)物車(chē)頁(yè)面的A/B測(cè)試,A代表使用單選按鈕,B代表使用下拉菜單,假設(shè)B帶來(lái)了75%的轉(zhuǎn)化提升。那么,B方案勝出?

還真不一定,這里還有其他需要考慮的點(diǎn):

1、樣本大小:

樣本大小會(huì)對(duì)置信度產(chǎn)生相當(dāng)?shù)挠绊憽_€是以上述例子來(lái)說(shuō),如果你的樣本是4個(gè)人,就意味著只有3個(gè)人選擇了下拉菜單,從起步來(lái)說(shuō)還算不錯(cuò),但當(dāng)樣本量擴(kuò)大到1000時(shí),我們想要保持相同轉(zhuǎn)化率的可能性是微乎其微的,也就是說(shuō),當(dāng)下我們的測(cè)試結(jié)果置信度非常低。

2、置信水平:

在一個(gè)500的樣本量里,99%的用戶都選擇了下拉菜單,你判斷出錯(cuò)的可能性較小(因?yàn)槿蒎e(cuò)率小)。但如果只有51%的用戶選擇了下拉菜單而49%的用戶選擇了單選按鈕,那隨機(jī)性就不得不考慮了,所以你需要繼續(xù)測(cè)試直到有一個(gè)較高的置信水平。

3、用戶規(guī)模:

如果你的總用戶量是25w而你的樣本量是25,同樣也會(huì)出現(xiàn)一個(gè)比較低的置信水平。

規(guī)則六:循序漸進(jìn)(walk?before?you?run)

由于用戶的認(rèn)知和預(yù)期的變化,CRO也會(huì)是一個(gè)變化的目標(biāo),所以,犯錯(cuò)在所難免,重要的是在過(guò)程中總結(jié)經(jīng)驗(yàn),這樣會(huì)為之后的測(cè)試產(chǎn)生累積價(jià)值。

規(guī)則七:多維度收集用戶反饋

用戶測(cè)試從未如此重要,也從未如此簡(jiǎn)單,就算你沒(méi)有個(gè)牛逼的用研團(tuán)隊(duì),也可以選擇很多免費(fèi)(或花費(fèi)很少)的工具進(jìn)行用戶調(diào)研。

比如

1、Peek

一個(gè)可以很簡(jiǎn)單并且可以讓你快速收集用戶對(duì)網(wǎng)站的定性反饋

優(yōu)點(diǎn):反饋比較客觀、細(xì)致而且免費(fèi)

缺點(diǎn):無(wú)法測(cè)試目標(biāo)用戶群之外的用戶。而且,耗時(shí)太久,所以要收集數(shù)量巨大的反饋比較困難

2、Amazon?Turk

通過(guò)定量分析(比如問(wèn)卷調(diào)研)幫助你在短時(shí)間內(nèi)收集到上千真實(shí)用戶的反饋

優(yōu)點(diǎn):價(jià)格親民,可擴(kuò)展性強(qiáng),數(shù)量級(jí)大,可以預(yù)設(shè)置一些條件

缺點(diǎn):通常是通過(guò)問(wèn)卷調(diào)研來(lái)做,或者可以理解為需要人為操作。

當(dāng)然了,有用戶反饋總比沒(méi)有好

規(guī)則8:用戶行為數(shù)據(jù)可能和結(jié)果性數(shù)據(jù)有矛盾

結(jié)果性數(shù)據(jù)固然重要,但要注意很多時(shí)候可能沒(méi)有行為數(shù)據(jù)來(lái)的真實(shí)。

比如,你急著要打印一些重要文件好去開(kāi)會(huì),剛打印了3頁(yè)就發(fā)現(xiàn)需要換墨盒了。?那么你會(huì)怎么處理呢?先停下來(lái),想想你內(nèi)心真實(shí)的答案是啥。

你也許會(huì)說(shuō)你會(huì)換掉墨盒然后繼續(xù)打印。對(duì),這是一個(gè)最終結(jié)果。

然而,在一個(gè)真實(shí)的場(chǎng)景里,其實(shí)你已經(jīng)踢了打印機(jī)四次,清空了卡紙,猛戳了7次“取消”鍵。然后才換了墨盒。?你歸整文件時(shí),你又把咖啡灑在了體恤上,簡(jiǎn)直生無(wú)可戀……然后不得不調(diào)整會(huì)議時(shí)間。在結(jié)果性數(shù)據(jù)中,其實(shí)你并不會(huì)刻意去就你的想法撒謊。畢竟你也確實(shí)換了墨盒。?但是如果僅憑結(jié)果性數(shù)據(jù),就會(huì)漏掉很多細(xì)節(jié)。

規(guī)則9:明確定義你的目標(biāo)值

實(shí)驗(yàn)前,明確或預(yù)估一個(gè)目標(biāo)值。心里有個(gè)目標(biāo),然后圍繞目標(biāo)來(lái)優(yōu)化,一定程度上可以理解為KPI

規(guī)則10:不要測(cè)試那些影響較小的因素

基于業(yè)務(wù)的核心價(jià)值去做實(shí)驗(yàn),聚焦能提升產(chǎn)品核心價(jià)值的因素

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

推薦閱讀更多精彩內(nèi)容

  • -- 原創(chuàng),未經(jīng)授權(quán),禁止轉(zhuǎn)載 2017.11.15 -- 對(duì)于推薦系統(tǒng),本文總結(jié)內(nèi)容,如下圖所示: 文章很長(zhǎng),你...
    rui_liu閱讀 42,983評(píng)論 14 256
  • Spring Cloud為開(kāi)發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見(jiàn)模式的工具(例如配置管理,服務(wù)發(fā)現(xiàn),斷路器,智...
    卡卡羅2017閱讀 134,869評(píng)論 18 139
  • 努力做一個(gè)極簡(jiǎn)主義者吧 001極簡(jiǎn)購(gòu)物,之前買(mǎi)東西確實(shí)是有購(gòu)物狂和囤貨癖,現(xiàn)在抽屜里還有一整套的化妝品和護(hù)膚品屯著...
    芳芳Fancy閱讀 153評(píng)論 0 1
  • 兒子小名叫虎皮。有的人問(wèn)為什么不叫老虎、虎子,多威風(fēng)呀,而要用老虎的皮做名字呢?有的人問(wèn)和虎皮尖椒是不是有關(guān)系?虎...
    一劍飄香999閱讀 242評(píng)論 1 0