互聯網產品和傳統產品不同的是，互聯網產品能夠產生大量的數據。通過分析工具和方法進行數據的分析能夠非常清晰直接地了解用戶習慣，優化產品。
姚旭認為數據分析是一種靠譜的產品研究方法，這東西有很多誤區，也不能迷信，最終到頭來還是要人來做決策。
別忽略沉默的用戶
二戰時英國空軍為了降低飛機的損失，決定給飛機的機身進行裝甲加固。由于當時條件所限，只能用裝甲加固飛機上的少數部位。他們對執行完轟炸任務返航的飛機進行了仔細地觀察、分析、統計，發現大多數的彈孔，都集中在飛機的機翼上；只有少數彈孔位于駕駛艙。從數據上說，似乎加固機翼的性價比最高。但實際情況卻恰恰相反，駕駛艙才是最應加固的地方，因為駕駛艙被擊中的飛機幾乎都沒飛回來。
“發聲”的數據是最好獲取的，但如果沒把這些沉默的數據考慮進來，那么這種數據分析是不靠譜的。所以除了數據的結果，還得嘗試解讀這些數據。而解讀數據就完全依賴人了。
更重要的是有用戶在乎
A和B兩家網站，都經營類似的業務，都有穩定的用戶群。它們都進行了類似的網站界面改版。改版之后，網站A沒有得到用戶的贊揚，反而遭到很多用戶的臭罵；而網站B既沒有用戶夸它，也沒有用戶罵它。如果從數據來看，應該是網站B的改版相對更成功，因為沒有用戶表達不滿。但事實并非如此。網站A雖然遭到很多用戶痛罵，但說明還有很多用戶在乎它；對于網站B，用戶對它已經不關心它了。
網站A指的是Facebook，網站B是微軟旗下的LiveSpace。
數據不是決策的唯一標準
通常認為，數據分析指導工作是一種高性價比的做法，不容易犯錯，對于代表資方的管理層來說，比起依賴于人的決策，依賴于數據的決策似乎更穩健。這種決策在從0.5向0.8的產品改進上，可能是有效的。因為一個已有的產品，數據就擺在那，如果100個用戶中有50個訪問超時，解決了這個問題，就提升了50%的效果。
但對于從0到0.1的新產品上，由于數據很難獲取，需要花大力氣在獲取模擬數據上。往往是用一周時間去想明白一個做兩個小時的產品該不該做的問題。而且模擬的結果還和最終實際相差很遠。
建議先做出來A/Btest或是原型系統，再去驗證，在一些場合下比先拿數據要有效的多。
數據帶有主觀性
為了減少內耗，我們往往依賴于數據來做決斷。我一直認為數據本身是帶有主觀性的，完全客觀的數據是沒有的。數據的獲取方法，數據的解讀方法，數據的統計方法，都是人的決策。一份數據得出兩個相反的結論來也不是沒有可能，因為即使主觀上沒有偏向性，也受限于方法和視野。
決策上最終起作用的還是人，不是數據，雖然人有那么多的不確定性，還可能出現爭論、扯皮，不敢承擔責任。
但重視數據應該成為一種信仰
且歌且行對于數據的觀點是：數據是一種信仰。
毀掉分析數據態度有三個常見原因。
第一，大環境不尊重數據，尤其是老板的態度。如果數據分析師只要隨便給一個報告就行，數字多一點或少一點，大家也是一笑而過，并不會追根到底，那么很難讓數據分析師以嚴謹的態度對待數據。
例如，國內這幾家數據分析機構，基本都在著急擴張自己，爭著占領行業，對于其推出的數據有多精準卻不那么在意，所以艾瑞的數據最近才會經常被人說“不靠譜”。
數據分析，今天做得不準，明天再改是沒有用的。比如艾瑞，如果數據不穩固卻搶著做很多行業，這是不靠譜的做法，指不定哪天就砸了自己的牌子。
有人提過Facebook的數據分析師為什么那么能耐，因為他們不覺得數據分析是一個苦事，十幾個人在一個房子里把數據分析當做一件很開心的事情來做，分析數據對于他們來說是在追求科學。
第二，好的數據分析師需要一點天分，同時也需要高人點撥，但是電子商務這個圈子，真正懂數據分析的人不會超過10個，所以一般人很難取得真經。這和信仰一樣，沒有師傅領進門，難度也會大很多。
我回顧了自己從微軟到易趣，再從敦煌到支付寶，在數據分析上有一次長足的進步，得益于從兩位老師的身上得到了許多啟發。
一位是亞馬遜的首席科學家韋思康。曾經我告訴韋思康，KPI報告顯示敦煌網需要4秒鐘，他立馬讓我叫來做技術的同事（他要聽到一線同學的反映），問這個4秒鐘怎么測算出來，是美國人打開用4秒鐘，還是英國人打開用4秒鐘，用的是什么Browser（瀏覽器）等。這個4秒鐘和商業價值（例如交易量）有關系嗎？
這讓當時的我很觸動，連這么一個很基礎的數據，韋思康老師都是以求證的心態來分析的。更令我印象深刻的是，只請他當半天敦煌網顧問，按照他的工作經歷來說，隨便忽悠半天是很容易的事情，但是韋思康老師非常嚴謹，先是以一個普通人的身份花了半個小時在敦煌網買東西（堅決要真實付錢），切身體會敦煌網的用戶體驗。然后也不先看數據，而是先問很多能更了解敦煌網的生意形態的問題。他的問題比很多投資分析師來得專業。而現在許多數據分析師，包括當時的我自己，只看數據就開口說問題，不深入去體會公司的商業形態。
韋思康老師告訴過我數據是一種態度，讓我明白做數據的人就是要全身心投入，好像一種信仰一樣，中間有許多路要走；而且，數據與商業密切相關，不能局限在數據的死角里。
另一位是清華大學的教授謝勁紅，有一個夏天我碰巧去旁聽他的課，拿一堆的數據給他看，他一邊看一邊給我演繹他的思維，他可以很快在一堆數據中找到它們之間的關系。后來我常常帶著團隊去清華找他聊，他教我如何看網絡數據，用聯動的思維來看網絡數據。可以說是他啟蒙了我用“關系”的思維看數據。一聽完就回到敦煌看很多數據，發現了新世界。
第三，數據分析師感嘆落不了地，只能談數據，而不懂商業。如果不懂商業，而單純看數據，不僅很難有創意的思維，而且是沒有意義的。
而對于一般的數據分析師來說，大部分人沒有系統思維，而且也只能看一部分數據，無法從大面兒上了解整個公司的運營數據，這樣就令數據分析師難以形成全面的思考方式。
為什么我在敦煌的時候數據分析能力會突飛猛進？那也是因為我在前兩家公司只能看到一部分數據，而到了敦煌之后我愛看什么就看什么，受謝教授啟發之后我更是天馬行空地把營銷數據、市場數據、財務數據、產品數據、賣家和買家數據等聯動起來看，這大大改變了我對數據的運用方式。
打破常識和經驗分析數據
丁士正有一段時間在一家為客戶在Facebook上做廣告的加拿大公司工作。
這是一家小型Startup（創業）公司，總共不到20個人。其中4個人（包括他自己）是技術人員，剩下的除了CEO都是Account Manager（客戶經理）。當然CEO很多時候也在做Account Manager的事情。
剛到這個公司的時候，我覺得他們的code很爛，他們的數據庫設計也很爛。后來才知道，當初startup的時候，是找了印度公司做外包的，他們對這個外包很不滿意，所以一期項目搞定之后，就全部拿過來自己做了。但是后遺癥也留下了。
這個公司的數據模型很清楚，只要通過低于廣告主給出的CPA(Cost Per Action)，每行動成本，一種按效果支付成本的收費形式)價格能賺到錢，就想辦法增加廣告覆蓋率。但是有個常識大家都明白，增加覆蓋率很可能導致轉化率下降。但是如果接受這個假設，那么就沒有什么賺錢的機會了。恰恰是因為他們相信，除了常識之外，還有一些事情是經驗之外的。
比如說關鍵詞。有些關鍵詞對某些人有用，對另外一些人沒用。如果不做數據挖掘，生想廣告詞或者關鍵詞的組合，把自己累死也賺不到什么錢。
所以，這個公司在代碼中設計了幾個基本核心算法：
- 一種止損的trigger（觸發器），自動停止任何虧錢的廣告。
- 一個自動發布廣告的Cron（定時任務）。程序一直在掃描，一旦發現一些廣告能賺錢，就自由組合這些廣告元素再自動發布到廣告系統里面。這樣，就能出乎意料地發現一些更加賺錢的廣告形式。
- 做了很多廣告更新的算法，搞了一個自動化的A/B測試策略來針對Facebook廣告價格的浮動，來更新廣告的價格。
通過閱讀這些算法我感受很深。所謂的數據分析，不是一個產品經理跑到運維、數據庫管理員或者工程師那里說：我現在要跟蹤什么什么數據，你幫我出一下吧，然后再對著跑出來的數據琢磨這些數據是否合理。在這個公司里，只要發現一個數據模式對收入有影響，就會直接編碼到系統里，變成自動執行的代碼。基于這樣的數據導向原則，代碼面臨無窮多次的重構，因為誰也不知道，下一個數據模式會發生在哪個層面，哪幾個數據之間會發生關系。
我認為國內的不少公司，還在根據daily report（日報單）分析數據，還在說數據只是為了驗證產品經理想法的階段。這動作是不是太慢了？
對于大多數網站，如果你想用數據為導向，必須建立系統級的A/B測試機制。對于界面層面的重構，一個產品經理加一個工程師，用這個系統一天至少能做3~4個。系統級別的A/B測試要能夠保證快速上線，第一時間看到數據，一旦超過臨界值要直接結束測試、保留數據并生成報告（直接郵件發送，而不是讓產品經理想起來跑到后臺再查）。
對于做社交網站，或者有復雜用戶數據模型的公司，要在界面呈現和用戶數據之間建立匹配系統。這樣，產品經理可以設計幾種呈現模式，丟到匹配系統中，過不了多久，就能發現用戶對不同呈現模式的數據反應的不同，然后系統性地固化這種機制。
通過cookie或者用戶登錄信息，建立針對不同用戶的內部tag系統，看這些tag在系統里有沒有明顯差異。如果有就可以固化下來，用來提高關鍵指標。
所以，我現在對于數據分析的感覺是：要提高一個數據指標，盯著它是沒有用的。必須找到影響這個數據的另幾個可操作性更強的數據指標，調整它們。分析數據的可能性要充分，充分分析的基礎是測試充分多的可能性。如果你想測試圖標的顏色從綠色變成紅色會不會更好，那為什么不測試一下藍色、紫色和黃色呢？如果小規模數據已經可以說明問題，就沒有必要延長測試時間，也沒有必要擴大測試范圍。要充分利用計算機來幫你做數據采集和分析，縮短數據分析的周期，降低數據分析的成本。有必要的時候，可以讓計算機幫你找Pattern（模式），因為計算機沒有偏見。
知乎說
“數據”和“用戶反饋”就像產品發展過程中的左右兩個大腦，一個是“理性”的，一個更偏“感性”。數據能夠更加真實地反映出用戶使用產品的行為特征，然后根據這個特征來做產品調整。但是盡信數據不如無數據。當你手握數據的時候，你應該考慮的是如何分析，如何運用好這些數據，理性和感性結合，才能做出好的判斷。
