一說起A/B測(cè)試，相信很多產(chǎn)品經(jīng)理都對(duì)這個(gè)名稱不陌生，他們會(huì)拿出一副看外星人的眼光，心里默默的說：“太out了吧，這個(gè)概念又不是什么新概念。”諸位別急，就像那本經(jīng)典的書名說的：你以為你以為的就是你以為的嗎？
我最早入行的時(shí)候，在一家外包做網(wǎng)站的公司，我作為項(xiàng)目經(jīng)理，公司分配我服務(wù)一家大型的國(guó)有旅游集團(tuán)，這家公司成立早，在業(yè)內(nèi)非常有名，主要做的是入境游業(yè)務(wù)，當(dāng)時(shí)國(guó)內(nèi)的線上旅游產(chǎn)品不像現(xiàn)在這么百花齊放，這家公司占據(jù)了入境游60%以上的業(yè)務(wù)。坦白講，我接到這樣的項(xiàng)目?jī)?nèi)心是無比激動(dòng)的，做了無數(shù)的競(jìng)品分析，推翻N多次的產(chǎn)品原型，而這家企業(yè)也不像傳統(tǒng)的央企，可能是因?yàn)樯嫱廨^多，他們的思路很開放，很多專業(yè)的意見他們也會(huì)接受，雙方配合的很默契。
做過網(wǎng)站的人都知道，項(xiàng)目中第一個(gè)重要的里程碑就是首頁設(shè)計(jì)稿，首頁設(shè)計(jì)稿決定了全站的設(shè)計(jì)風(fēng)格和調(diào)性，又是一家網(wǎng)站的“門面”，因此該企業(yè)對(duì)首頁設(shè)計(jì)稿的設(shè)計(jì)是萬眾期待，不僅僅是領(lǐng)導(dǎo)，還有所有員工，都對(duì)這次網(wǎng)站首頁十分的期待，這種情緒感染了我，我?guī)еO(shè)計(jì)團(tuán)隊(duì)不眠不休的干了一周，出了三版設(shè)計(jì)方案，擺到了領(lǐng)導(dǎo)的桌前。
領(lǐng)導(dǎo)看到我們的成果，首先表揚(yáng)了我們的工作態(tài)度，此處省略一萬字，然后在拍板做決定的時(shí)候，領(lǐng)導(dǎo)真的是為難了，并不是他不知道選哪個(gè)，而是他不敢選，因?yàn)樗芮宄旧舷聦?duì)設(shè)計(jì)稿的期待，更清楚外界對(duì)本次網(wǎng)站改版的關(guān)注，畢竟該企業(yè)在中國(guó)入境游領(lǐng)域的話語權(quán)分量很重。領(lǐng)導(dǎo)看了我一眼，說，要不，讓下面的人一起看看？我當(dāng)時(shí)頭就大了，下面那么多人一起看，一人提一句意見，一人提一個(gè)想法，做過乙方的都知道，我們的設(shè)計(jì)基本上就會(huì)重新推翻，我們一周的努力基本上就付水東流了啊！為了不讓兄弟們的辛苦白費(fèi)，我建議領(lǐng)導(dǎo)讓所有人在三版設(shè)計(jì)風(fēng)格中進(jìn)行投票，決定設(shè)計(jì)風(fēng)格走向，票數(shù)多的那個(gè)就作為最終的設(shè)計(jì)風(fēng)格，并且冠上了一個(gè)“A/B測(cè)試”的名頭，讓領(lǐng)導(dǎo)覺得這件事的科學(xué)性和嚴(yán)謹(jǐn)性。
三版設(shè)計(jì)，A版本在整個(gè)設(shè)計(jì)中演繹了該企業(yè)的LOGO，最大的特點(diǎn)是更國(guó)企，如果各位不明白，請(qǐng)參照中石油官網(wǎng)；B版本我們用了大量的風(fēng)景圖片，最大的特點(diǎn)突出其“入境游”的旅游特性；C版本是我們推薦的版本，使用了顏色絢麗的設(shè)計(jì)風(fēng)格，并且手繪了一個(gè)熊貓的卡通圖形，整個(gè)網(wǎng)站的風(fēng)格更加偏向國(guó)外旅游網(wǎng)站，因?yàn)楫吘惯@個(gè)網(wǎng)站的受眾是外國(guó)人。我們一致認(rèn)定，C版本必勝！但是，投票當(dāng)天的結(jié)果大出意料，最后A版本選票最多，因?yàn)檫@家企業(yè)的員工都認(rèn)為，既然是做自己企業(yè)的網(wǎng)站，那就必須圍繞自己的企業(yè)做文章。
這件事回過頭來看，其實(shí)發(fā)現(xiàn)當(dāng)時(shí)做的A/B測(cè)試實(shí)在是稱不上科學(xué)的實(shí)驗(yàn)，因?yàn)榉噶艘韵聨讉€(gè)錯(cuò)誤：
1.采樣不準(zhǔn)確。在A/B測(cè)試中，采樣是一件很重要的事情，如果采樣不準(zhǔn)確，那整個(gè)實(shí)驗(yàn)就算是有結(jié)果，其結(jié)果也是不準(zhǔn)確的。什么是采樣的準(zhǔn)確？就拿上文中的例子，我們的采樣就是該企業(yè)的員工，這些員工首先不是網(wǎng)站的受眾，其次他們看問題的角度會(huì)有局限，我們想當(dāng)然就把員工的想法等同于用戶的想法，而這個(gè)網(wǎng)站的用戶都是黃頭發(fā)藍(lán)眼睛的外國(guó)人，想法差距就更大了。
2.樣本數(shù)量太少。該企業(yè)的入境游業(yè)務(wù)占了中國(guó)入境游的半壁江山，而他們的員工只有200多人，200多人的樣本不能完全代表全流量的用戶，就像我們不能說拋十次硬幣如果8次正面，2次反面，我們就說拋硬幣的概率就是80%的正面，這很可笑。
3.實(shí)驗(yàn)變量太多。科學(xué)的A/B測(cè)試為了保證實(shí)驗(yàn)的準(zhǔn)確性，在變量設(shè)置上不會(huì)很多，很多時(shí)候就是改動(dòng)一個(gè)按鈕的顏色，或者是一句文案的改變，就是為了盡量減少變量對(duì)數(shù)據(jù)結(jié)果的影響，如果變量太多，那就算有實(shí)驗(yàn)結(jié)果，作為實(shí)驗(yàn)設(shè)計(jì)者也并不清楚，到底是哪個(gè)變量導(dǎo)致的數(shù)據(jù)變化。
4.實(shí)驗(yàn)結(jié)果分析。做A/B測(cè)試不是全民投票，票數(shù)決定一切。A/B測(cè)試的結(jié)果要經(jīng)過統(tǒng)計(jì)學(xué)的分析，結(jié)合正態(tài)分布和隨機(jī)變量等計(jì)算得出的結(jié)果才是可信的。
從上我們可以看到，一次成功的A/B測(cè)試并不是那么容易的，那有沒有可以借助的工具呢？
吆喝科技的A/B測(cè)試云服務(wù)倒是可以解決上述的問題，首先我們來看看采樣的問題，在吆喝科技的A/B測(cè)試后臺(tái)，有一個(gè)流量控制面板，如果我們需要在運(yùn)行控制界面中為實(shí)驗(yàn)的每個(gè)版本分配試驗(yàn)流量，百分比為占用全部流量的比例，控制流量可以通過一個(gè)按鈕實(shí)現(xiàn)。
科學(xué)的流量分割一定要保證流量的選取具備代表性，如果試驗(yàn)結(jié)果顯示B優(yōu)于A有可能應(yīng)用B版本到全體用戶中之后，它的表現(xiàn)反而比A版本差，Appadhoc A/B Testing通過科學(xué)的試驗(yàn)流量分割算法，保證不同版本的用戶都具有相同的代表性，對(duì)比結(jié)果是科學(xué)可信的。為保證用戶體驗(yàn)，通常參與過某一個(gè)試驗(yàn)版本的用戶，再次進(jìn)入應(yīng)用時(shí)，依然會(huì)看到這個(gè)版本，除非在試驗(yàn)運(yùn)行之后調(diào)整過流量。吆喝科技建議在開始運(yùn)行試驗(yàn)時(shí)分配較小的流量，之后為獲取更準(zhǔn)確的試驗(yàn)結(jié)果可逐步提升流量。
其次是對(duì)實(shí)驗(yàn)結(jié)果的分析，一次科學(xué)的A/B測(cè)試實(shí)驗(yàn)完成后，實(shí)驗(yàn)數(shù)據(jù)的分析和統(tǒng)計(jì)也決定了這是否是一次成功的實(shí)驗(yàn)。在吆喝科技的A/B測(cè)試后臺(tái)，引入了一個(gè)置信區(qū)間的概念，置信區(qū)間描述了試驗(yàn)版本比對(duì)照版本提升的范圍，95%指的是實(shí)際提升出現(xiàn)在這個(gè)范圍內(nèi)的概率。查看置信區(qū)間，如果上下限同為正，說明試驗(yàn)版本比原始版本有了提升；如果同為負(fù)，說明試驗(yàn)版本不如原始版本。如果置信區(qū)間的上下限位一正一負(fù)，則說明試驗(yàn)版本和原始版本沒有顯著差別，或者試驗(yàn)數(shù)據(jù)還不足以判斷結(jié)果，需要運(yùn)行試驗(yàn)更長(zhǎng)時(shí)間，收集更多數(shù)據(jù)。
我們做A/B測(cè)試的目的就是為了驗(yàn)證實(shí)驗(yàn)的結(jié)果推廣到全流量可信，這需要大量的統(tǒng)計(jì)學(xué)進(jìn)行分析，吆喝科技的后臺(tái)整合了這些計(jì)算方式，把最終的結(jié)果展現(xiàn)在實(shí)驗(yàn)者面前，節(jié)省了大量的時(shí)間。
這只是吆喝科技A/B測(cè)試后臺(tái)的部分功能，更多的功能還需要慢慢發(fā)掘。
本文作者李龍@吆喝科技，原創(chuàng)發(fā)表于吆喝科技博客，轉(zhuǎn)載請(qǐng)聯(lián)系吆喝科技（微信：appadhoc）
