接近年關(guān)，又到了一年復(fù)盤和規(guī)劃的時候。除了微觀層面上對自我工作進(jìn)行總結(jié)計劃，同時從宏觀層面上看看我們目前在這場Data-Driven?或者Big Data潮流中的所處于的位置，提前為未來的變化做好準(zhǔn)備。本篇文章僅僅代表個人觀點，與公司立場無關(guān)。因為個人視角總會有所局限，也希望和大家有更多討論。
我在這一年里面接觸了各式各樣的企業(yè)。其中一些企業(yè)已經(jīng)張開雙臂積極迎接從IT-Centric到Business-Centric的轉(zhuǎn)變；一些企業(yè)仍然在門口徘徊不前，躊躇張望；當(dāng)然，也有一些企業(yè)采購了新的工具，但是依新酒瓶裝舊酒。從整體上來看，我認(rèn)為2016年是自助式分析已在國內(nèi)崛起，這場崛起中機遇與風(fēng)險并存。這篇文章主要會結(jié)合Garner近幾年里關(guān)于該話題的報告，BI領(lǐng)域產(chǎn)品的迭代創(chuàng)新方向等內(nèi)容來談。文章最后會分享此篇文章內(nèi)引用內(nèi)容的鏈接。
一、自助式分析的崛起
1.1 矛盾越來越強烈，源于業(yè)務(wù)方的需求
越來越多源數(shù)據(jù)，越來越復(fù)雜多變的業(yè)務(wù)場景，傳統(tǒng)瀑布式的BI開發(fā)流程不能滿足當(dāng)下的業(yè)務(wù)需求。主要的矛盾點體現(xiàn)在三個方面，從業(yè)務(wù)人員角度來說：一方面和IT或者分析師溝通成本高，一方面需求滿足時間久。從數(shù)據(jù)分析師的角度來說：因為業(yè)務(wù)的需求不能被IT及時滿足，業(yè)務(wù)分析師變?yōu)闃I(yè)務(wù)部門的提數(shù)機器，沒有精力去探索挖掘更有價值的數(shù)據(jù)信息。
1.2 基礎(chǔ)數(shù)據(jù)模型固化與計算能力提升，讓自助分析行為成為可能
當(dāng)然市場里僅僅有矛盾和需求還不足夠，仍然需要有供給讓這一行為變得可能。隨著越來越多的基礎(chǔ)數(shù)據(jù)模型固化，例如Tableau將人們常用的維度和度量的組合輔之字段類型，給到用戶散點圖、折線圖、樹狀圖的智能推薦；例如alteryx中將R語言常用的算法模型進(jìn)行了打包組件化，使用者只需要拖拽就能夠完成一個預(yù)測分析。再從計算能力上來說，往往我們在本地電腦上打開一個上十萬的Excel文件就已經(jīng)痛苦不已，到如今你可以在自己電腦上處理到千萬級別的數(shù)據(jù)。計算能力的提升也使得用戶的需求能夠更好被滿足。
1.3 權(quán)威第三方的趨勢判斷與評測
此外，Garner早在2015年2月就在文章里預(yù)測了這一趨勢，說道：“Traditional business intelligence (BI) and analytic models are being disrupted as the balance of power shifts from IT to the business.傳統(tǒng)的BI產(chǎn)品格局在因為IT去中心化，以業(yè)務(wù)用戶驅(qū)動的轉(zhuǎn)變中發(fā)生劇烈震蕩”，包括在今年年初發(fā)布的BI產(chǎn)品魔力四象評價中更突出了該變化。并且Gartner預(yù)測，到2017年企業(yè)里面絕大部分的業(yè)務(wù)用戶，將會使用自助分析工具來處理分析他們的數(shù)據(jù)回答業(yè)務(wù)問題。
二、自助式分析的機遇
2.1 對于企業(yè)的機遇
更多人：大數(shù)據(jù)平民化
自助式分析將會促成企業(yè)更多人能夠接觸并從數(shù)據(jù)中挖掘出價值，換一個角度說，也就是這些年常提的大數(shù)據(jù)平民化。大到公司戰(zhàn)略小到一個簡單的推廣渠道判斷，讓數(shù)據(jù)講話，不再拍腦袋做決策。
更快速：拖拽性操作簡單快速
當(dāng)下的BI產(chǎn)品，無論是做數(shù)據(jù)準(zhǔn)備還是到可視化，基本上都可以通過簡單拖拽方式進(jìn)行使用，并且產(chǎn)品本身也有一些固化的模型和推薦，讓用戶的從獲得數(shù)據(jù)到得到洞察變得更快速.
更深入：更深挖掘數(shù)據(jù)價值
業(yè)務(wù)人員可以自助回答問題后，將數(shù)據(jù)科學(xué)家和分析師從日常業(yè)務(wù)問題的瑣碎事物中脫身，從而有更多精力放到數(shù)據(jù)探索和挖掘的項目中。
2.2 對于個人的機遇
那這種自主數(shù)據(jù)分析的崛起，對個人而言的要求有哪些呢？毫無疑問它降低了我們?nèi)藛T的技術(shù)需求，但是卻對于我們識別、判斷問題和解決問題的能力提出了更高要求。拿我比較熟悉的兩個產(chǎn)品來說，Tableau的使用很容易，的確是拖拽甚至雙擊就可以把數(shù)據(jù)的計算結(jié)果以可視化的方式呈現(xiàn)在我們的視野里。然而，我們卻絕大時候發(fā)現(xiàn)，當(dāng)我們把各路的報表簡單的拽到一個儀表盤上后，信息依舊是凌亂的散落在一個個可視化視圖里。再到Alteryx，它的使用可能更簡單，就是拖拽組件搭成工作流，產(chǎn)品功能不再是你處理數(shù)據(jù)里需要花很多時間去學(xué)習(xí)的瓶頸，真正的瓶頸是你用一個怎樣的邏輯搭建這個工作流，同樣一個input 和output data，可能只需要四五個組件工作流搞定，同樣十幾個組件的工作流組件也能搞定。我在下方列出了一些能力要求及變化，供大家參考：
技術(shù)能力：SAS，Python，R等coding語言不再是瓶頸
統(tǒng)計模型：模型使用不難，不同問題的模型選擇成為瓶頸
業(yè)務(wù)能力：識別業(yè)務(wù)問題，判斷優(yōu)先級是瓶頸
可視化能力：數(shù)據(jù)可視化不難，但要會用圖表講故事是瓶頸
解讀與應(yīng)用：最關(guān)鍵的環(huán)節(jié)，要求很高
三、自助式分析的風(fēng)險
3.1 企業(yè)內(nèi)部缺乏相關(guān)培訓(xùn)
記得以前看過一個研究說，企業(yè)的組織、人員能力配備等方面往往總是趕不上技術(shù)的變化。在這場變革中，我們也發(fā)現(xiàn)了這樣的現(xiàn)象。在引入自助分析上，第一步就是要找到合適的人群并且組織結(jié)合實際場景的培訓(xùn)。在開始階段，業(yè)務(wù)人員需要花費額外的精力來掌握自助分析新工具，如果缺乏合適的引導(dǎo)和培訓(xùn)，也許因為產(chǎn)品使用場景錯誤，例如把可視化產(chǎn)品用作了數(shù)據(jù)處理產(chǎn)品。反而會在自助分析的推進(jìn)中適得其反。
3.2 沒有認(rèn)真甄選使用人員
其次，在自助分析文化推進(jìn)的關(guān)鍵，還要特別特別注意甄選前幾批使用人員。業(yè)務(wù)人員總會在技能，背景素質(zhì)，包括對企業(yè)內(nèi)部數(shù)據(jù)驅(qū)動的理解和驅(qū)動方面有所差異。認(rèn)真甄選第一批種子客戶，小規(guī)模的進(jìn)行推廣做出最佳實踐，之后再到公司范圍內(nèi)的推廣會更加順風(fēng)順?biāo)?/p>
3.3 數(shù)據(jù)管理問題暴露
假設(shè)這樣一個場景，一個剛剛上任的總監(jiān)需要從多個角度和層次去了解目前公司的銷售問題，而IT部門卻沒有辦法快速提供這樣的報表內(nèi)容，于是業(yè)務(wù)運營人員使用自助分析工具快速完成了報表制作，一天后就給到總監(jiān)一個滿意的答復(fù)。但是一個月后，總監(jiān)依舊通過這張報表了解經(jīng)營狀況，卻發(fā)現(xiàn)一些數(shù)據(jù)和實際經(jīng)營情況對不上，于是叫來業(yè)務(wù)人員追查原因。業(yè)務(wù)人員發(fā)現(xiàn)在自助分析端并沒有出現(xiàn)過調(diào)整，于是再從數(shù)據(jù)源的角度做問題排查，因為他在數(shù)據(jù)源鏈接中使用了Salesforce，Google Analytics，Excel，MYSQL數(shù)據(jù)庫里面不同的數(shù)據(jù)源，也就意味著不同數(shù)據(jù)源需要一一排查?；藥滋斓呐挪楹笞罱K發(fā)現(xiàn)那張從MYSQL數(shù)據(jù)庫里的表已經(jīng)好一陣沒有更新了。原因在于因為IT接入了新的業(yè)務(wù)系統(tǒng)后，創(chuàng)建了新表來替換原始的那張表，但這個信息并沒有及時通知到給業(yè)務(wù)部門。換一個角度，這件事情暴露了企業(yè)的數(shù)據(jù)管理制度安排沒有跟上自助分析推廣的變化。另一方面，也體現(xiàn)了對于適用于自助分析下的數(shù)據(jù)管理工具的需求，后文談未來的模塊會另外介紹。
四、自助式分析的未來
1 數(shù)據(jù)準(zhǔn)備
自助分析最先以數(shù)據(jù)可視化的姿態(tài)進(jìn)入到人們的視野，業(yè)務(wù)人員拿到處理好的數(shù)據(jù)進(jìn)行可視化分析，一些數(shù)據(jù)準(zhǔn)備的工作仍然掌握在IT部門的手中，或者是業(yè)務(wù)人員自己費時費勁的手工處理。但往往一個數(shù)據(jù)分析項目里，將近有80%的時間花費在數(shù)據(jù)準(zhǔn)備融合的工作里，如何能夠真正加速這個環(huán)節(jié)也將成為提升業(yè)務(wù)人員工作效率的關(guān)鍵。Gartner預(yù)測在2017年將會越來越多的企業(yè)將把數(shù)據(jù)準(zhǔn)備內(nèi)容納入自助分析的模塊中，與此同時，各大廠商也開始進(jìn)軍到數(shù)據(jù)準(zhǔn)備的領(lǐng)域。例如：Tableau在2016用戶大會上正式對外宣布了自己的數(shù)據(jù)準(zhǔn)備產(chǎn)品項目，很有可能在明年就和大家見面。Talend也推出了自己做數(shù)據(jù)準(zhǔn)備模塊的產(chǎn)品。
2 數(shù)據(jù)管理
如上文風(fēng)險模塊中所說自助分析推廣也將對企業(yè)內(nèi)部數(shù)據(jù)管理提出更高的要求。傳統(tǒng)的數(shù)據(jù)管理以政策法規(guī)驅(qū)動，IT為中心的來做統(tǒng)一的管理。而在自助分析中，將需要解決的兩個重要的數(shù)據(jù)管理問題：1.?在各種各樣的數(shù)據(jù)源中如何快速獲取到準(zhǔn)確的數(shù)據(jù)。?2.?IT如何更好的和業(yè)務(wù)協(xié)作。數(shù)據(jù)管理方面也有一些新興的產(chǎn)品，如自稱要做數(shù)據(jù)查找領(lǐng)域的Google的Alation，將統(tǒng)計和機器學(xué)習(xí)運用在數(shù)據(jù)搜索之中，比方說用戶如果需要尋找?shipment date這個字段，直接輸入即可，并不需要輸入數(shù)據(jù)庫的字段名字（shp_dte）。同樣，針對于不同人群的搜索，可能返回結(jié)果也不同，HR和CRM都輸入comp這四個字母的時候，HR得到的提示為compensation，而CRM可能就是Compliant。在IT和業(yè)務(wù)方面協(xié)作方面，Tableau用戶經(jīng)常會在ad-hoc分析時候創(chuàng)建某些計算字段，而未來IT可以在背后看到用戶創(chuàng)建計算行為的數(shù)據(jù)，再通過簡單拖拽或者其他方式將常用的計算字段固化到原始數(shù)據(jù)源。
3 運用更強大的處理能力
提升數(shù)據(jù)處理能力主要從兩方面來提升：一方面是更好利用分布式計算的能力。例如Bluedata提供了企業(yè)更簡單便捷的大數(shù)據(jù)部署的解決方案，數(shù)據(jù)分析師或者數(shù)據(jù)科學(xué)家可以更自助而簡單的部署計算任務(wù)。另一方面是強化自身產(chǎn)品的數(shù)據(jù)引擎處理能力，如Tableau?收購了Hype?data engine。
4. 組織內(nèi)或者行業(yè)性的知識沉淀
因為企業(yè)內(nèi)部更多用戶使用自助性的平臺進(jìn)行數(shù)據(jù)分析洞察，平臺性的存在也讓企業(yè)內(nèi)部的知識沉淀和協(xié)作變得更加可能，想象下你可能是個新入職的員工，不清楚新公司的數(shù)據(jù)情況，不清楚自己當(dāng)下部門里使用這些數(shù)據(jù)時候都在做哪些分析。但是當(dāng)你打開這個分析平臺界面，你就能夠看到你們部門都在用哪些數(shù)據(jù)，哪些數(shù)據(jù)有過權(quán)威人士的標(biāo)注，包括這些數(shù)據(jù)表之間平時如何關(guān)聯(lián)應(yīng)用，成品儀表板的樣式等等。
最后，引用一段Harvard Business Review 對這一轉(zhuǎn)型趨勢評價的一段話：“We’re in the middle of a significant shift in the way organizations blend and analyze data, affecting not only the way decisions are made, but also how businesses operate. Data analysts in the line of business, who formerly had no choice but to rely on highly skilled, highly paid data scientists for data access, can now take advantage of self-service technologies to achieve analytic independence. These technologies enable practically anyone—regardless of their technical proficiency—to be a data analyst and make data-driven business decisions.”
我們當(dāng)下站在一個企業(yè)使用分析數(shù)據(jù)的轉(zhuǎn)折點上，該轉(zhuǎn)變不僅僅會影響企業(yè)的決策方式，也將影響業(yè)務(wù)的運轉(zhuǎn)方式。眾所周知，數(shù)據(jù)分析這件事情應(yīng)該和商業(yè)結(jié)合的更緊密，然而這件事卻因為需要各式各樣的技術(shù)使得我們不得將業(yè)務(wù)和分析這樣兩個環(huán)節(jié)割裂進(jìn)行分工。而現(xiàn)如今，得益于技術(shù)的發(fā)展讓我們每個人不再會因為技術(shù)而成為我們使用數(shù)據(jù)的瓶頸，從而實現(xiàn)真正的數(shù)據(jù)驅(qū)動企業(yè)決策。
本文參考內(nèi)容：
1.http://www.tableau.com/zh-cn/node/63220?from=timeline&isappinstalled=0
2.http://mp.weixin.qq.com/s/AlgTI1gPg9_apXsREFJ8bg
3.https://www.tableau.com/sites/default/files/whitepapers/enabling_governance_for_insight_0.pdf
4.http://www.gartner.com/newsroom/id/2970917
5.http://blogs.gartner.com/merv-adrian/2016/10/19/symposium-notes-day-two-jumps-in-the-data-lake/
