“從現在開始的十年內，當我們回顧大數據時代是如何發展時，我們會震驚于在以往做出決策時信息的匱乏。” －Billy Bosworth (DataStax CEO)

A/B測試方法，最早運用在醫療行業，作為早期測試，判斷新藥藥效的方法，通過分組對照，科學的判斷新藥物會帶來的影響。

而這種測試方法，也被帶入到了互聯網產品的迭代過程中，在發現了產品新的機會后，通過A/B測試來驗證最有效的產品策略。

為什么使用A/B測試？

環境的不可預見因素，對用戶行為理解的偏差，以及對多種方案實際效果的驗證，都是進行A/B測試的原因，有效的A/B測試能夠給團隊帶來顯著的增效。

在進行A/B測試的時候，需保證單盲測試原則，注意對照組和實驗組的目標用戶需保持一致性，通過測試后統計的數據情況，例如用戶的具體操作行為和體驗反饋等，目標操作的點擊或任務的完成度是不是提高，來評判測試用例是否起到了作用。

我們可以來看AppAdhoc的一個案例：

文案的力量也會影響很大，例如：

A/B測試的時機，投入與產出

A/B測試的測試方案應該安排在產品正式推送之前，在現有的用戶當中去找出一小波典型用戶，均分為兩組，布下監測數據點，查看用戶真實的操作情況和反饋，小范圍的真實用戶測試能夠帶來更加準確的反饋，并且在正式推送之前不會影響到其它未參與測試的用戶，不影響產品當前本身的體驗，如果發現任何異常，能夠快速的撤下，高效便捷。

簡單的A/B測試流程：

制定測試方案

在測試之前，編寫好測試內容，選定測試對象，明確測試方法，以及預期的測試效果。

發布測試方案

發布測試方案可以選擇靜默發布和公開發布，通過對方案是否有需要進行選擇，往往一些細微的功能調整，例如短文案，小的視覺變更等，或者變更本身不希望主動提示用戶去嘗試，影響測評結果等。

公開測試可能適合使用在一些創新性的功能或者是較大的功能改版需要對測試用戶做出一定的描述讓用戶能夠接受。

記錄&分析

了解用戶在測試過程中的反應，表情，動作，語言等，對測試對象的一些觸發器進行錨點追蹤，查看分析用戶的使用頻率，來界定測試方案是否起到了預期的效果。

撰寫分析報告

收集團隊成員積累的測試資料，對數據的變化以及用戶的反饋進行較為深入的剖析，針對當前的測試版本提供合理的優化意見，并能夠讓團隊的其他人從中獲取需要的信息。

完善設計方案

通過分析報告的內容，來對設計方案進行調整，針對測試過程中發現的不足進行優化，并考慮是否進入到下一次的迭代過程中去，撰寫迭代方案。

再次測試or上線

大部分的A/B測試只會進行一個周期，只有針對某些特別謹慎，或者是對研發周期限制很少，時間寬裕的團隊來說，可能會進行第二次或者是第三次的測試，而大部分都會選擇在一次優化后上線，然后將更新需求寫入到下一版本的計劃當中去。

A/B測試對團隊資源占用較大，是在對自查和團隊評審后，更加準確的一種測評方法，不會在每一個環節和功能上都去進行嘗試，所以在工作中如果去使用，可能就需要根據團隊的執行力以及個人的經驗作出判斷了。

（圖片摘自：WAW2016上王曄博士《AB測試基本原理與背后理念》演講文件）