前言
“果然一點不相干”是張之洞故事里的一個文字游戲,這句話是下聯,上聯是“樹已千尋難縱斧”。樹對果,已對然,千尋對一點,縱對相,斧對干,極其工整,但是句子連起來讀,上下聯一點關系也沒有,誠如下聯“果然一點不相干”的字面意義。
很顯然這個玩法,是基于拆開每個文字的多義匹配,和句子的多義匹配,是兩碼事。
A/B測試
最近的一個A/B測試,分流的流程里有的頁面只是路過,并沒有參與改版,這是背景。數據出來以后,拆開每個步驟看,各個位置的新頁面有的改好,有的改差,但是好玩的是,一點也沒改的頁面,轉化率也很有大的變化。
句子可以拆成字去分析,但是仍然會作為一個整體去理解,類比A/B測試,如果刻意地把各個步驟的結果堆砌起來,結果有可能會“果然一點不相干”。
為什么對聯可以變成文字游戲?關鍵在于歧義,每個字都有很多意思,干有干戈的意思可以對上斧,但是和相結合起來,就有關聯的意思,和縱斧的意思完全千里之遙了。
那么流程頁面為什么可以拆開來看呢?其前提是,信息量的輸入和輸出是不變的,同樣是一個沒有任何改版的頁面,如果他前面一頁信息量發生了變化,假設就不成立了。
轉移概率
這時候會發現一個好玩的現象是,A頁面的改版效果,在數據上體現在A+1頁面到A+2頁面的轉化率變化。當然你可以說對A+3也有影響,用統計學的語言表達,這句話可以寫成:
P(Xn+1=x|X0,X1,X2。。。)
就是說某步驟的下一步轉移概率,取決于前面幾步的條件概率。簡化計算(也就是馬爾可夫)就是第n步僅由第n-1步決定,這個公式在實際工作里可以用來識別名字/識別翻譯/識別員工離職概率等等,而且可以防止“果然一點不相干”,為什么?因為他考慮了n-1(和n-2/n-3。。。如果你算的過來)。
收回思路,recap一下
1、ab測試的原則是分步驟、控制變量找問題。
2、當信息量等參數發生顯著變化,分步驟的形式會有瑕疵,需要把發生變化的“下一步”也綁進來成為一個分析體。
3、這就啟示我們,ab測試的結果,不僅僅有時間的壓縮/彈伸效應(剛上線效果會顯著,隨時間延續,會平復到顯著位和之前位置的中間,冥冥中有一個常量在控制,以前寫過一篇blog),還有空間的壓縮彈伸效應,也就是有些位置會極大改善,有些位置會變差,冥冥中也有一個常量在控制。
這也可以解釋為什么“看起來越容易成功的改版,越容易失敗“(抱歉這句偽名言是我自己想出來的),因為人的認知往往會忽視一些不容易察覺到的隱含變量,經過時間空間的來回拉伸以后,最終穩定狀態能夠有微小改善就很不錯了。
4、所以我會得到“ab測試應該更復雜”的結論么?
不。恰恰相反,這更說明ab測試的意義應該更“輔助”。
本來這就是歐美的互聯網工程師文化下的小玩意,在國內被妖魔化了,僅僅是輔助,如果完全依賴A/B來做決策,而不結合傳統的客戶調研,基于經驗的感性分析等,則要么是出于政治訴求,要么就是無知無畏,不怕“果然一點不相干”了。
謝謝閱讀。