????今天想和大家聊一聊關于數據分析與可視化,鑒于才疏學淺,對大數據的底層就不瞎嗶嗶了。結合自己的一些實踐經驗談一談最上層的數據BI分析與展示,也就是下圖數據倉庫架構圖中數據可視化的部分,順便對比幾個工具的特性。
?既然是漫談,所以想到什么就說什么,并不成體系。
????????拋開大數據的概念不談,很多公司多少是有一些數據的積累,但是對數據分析上停留在了“最后一公里”。有很多日志、有原始數據庫、有線下的各種Excel匯總表。
????數據分析用Excel可以嗎? 當然可以,就像是一把瑞士軍刀,Excel+VBA加上一些擴展可以做很多數據分析工作。 玩轉Excel是必須的,數據公式、圖表、透視表是基礎,會VBA算是加分項。新手通過Excel可以入門基礎的數據分析,后期逐漸拓展。
數據分析的段位
????前幾天看了一篇文章,說到數據分析師有四個段位,各個段位對數學、數據分析工具、編程、有不同的技能要求。
數據分析專員
進階數據分專員
數據分析師
數據科學家 / 數據挖掘工程師 / 數據可視化工程師
????會SQL、SPSS、R和Python會一兩種,可視化BI工具Tableau / Power BI / 熟練使用,基礎的統計學熟練,對了,PPT和Excel一定要用得溜,再加上熟悉業務,就已經能滿足大多數傳統公司和互聯網公司的業務要求了 。
????首先我們得有數據分析的數據來源,就KK目前公司里面存在的數據來源有以下幾類:
服務器日志,包括App、后臺系統所有的操作日志,數據量最大,存儲在服務器上
業務數據庫,主要是幾項主要業務的訂單數據,客戶數據等。在 Mysql中
接口數據,HTTP、FTP 數據,主要是其他合作接口提供數據
線下Excel報表,這部分數據雜亂,整理耗費的人力最大
????在整理匯集抽取清洗各種數據源的過程是最艱難(惡心)的,通常因為分布在不同的地方,而且不是統一的結構,甚至不是結構化的數據。大一點的公司會搭建數據倉庫,按照上面的數據倉庫結構圖進行數據歸集,這個我沒有發言權就略過~
? ? ?然后說一說圖表的類型,柱狀圖、條形圖、散點圖、玫瑰圖、雷達圖等,一圖勝千言。按照不同的目的,根據上圖選擇下方對應的圖表就可以了。
????在實際分析的過程中其實是多種圖表套用。舉個例子,分析一個總銷售額下每個各條業務線的組成,可以用餅狀圖/環形圖,如果要加上時間維度的話就可以選用 折線圖或者面積圖。
????數據分析的過程就是使用各種工具對數據進行抽取分析發現問題不斷深入的過程,目前在數據分析的工具上有一個趨勢是自助式分析,使用數據可視化BI工具連接數據源或者導入數據后使用可視化的操作,所見即所得的分析方式。
Tableau?,這個是KK用得最多的,而且也是數據BI領域的老大哥了,在國外很火,但是在國內本土化上面還有待提高,產品是好產品。收費,有試用期可以體驗。
Fine report \ Fine BI,帆軟是國內做BI本土化做得比較好的公司,使用上也比較不錯。
Microsoft Power BI?,Excel是數據分析可視化的鼻祖。近些年,微軟基于Excel開發了Power BI的一系列插件。
BDP個人版,類似tableau 但是個人感覺在數據分析上略弱,適用于簡單的數據類型,漏斗圖、詞云、桑基圖、熱力地圖比較有特點。
數據觀,國內的一款BI工具,免費試用一個月,數據量大時處理上不如上面幾個,可以結合自己情況試用。
????其實這幾款工具只要會其中的一款,其他的操作上大同小異,使用上學習起來也會很容易。 需要的是針對自身的數據情況選擇合適的一兩款就可以。
對業務人員來說通過簡單的拖拽、鉆取、組合就可以處理數據進行可視化的分析,創建自己需要的報表、圖表的等,不用所有需求都排到數據分析師那里。
對數據分析師來說,完全可以直接根據需求搭建一個可交互的Dashboard,在交互效果和顯示上會比靜態的Excel更直觀,更新一鍵操作。下圖是我根據公司業務搭建的數據監控儀表板,可以實現數據鏈接動態變化,另外是一些案例。
可以直接選擇相應的tab項變換數據源,鏈接數據源,實時更新也是可以的(下面幾個是Fine BI 實現的)
數據分析語言
????對于可視化的實現,除了通過上面的拖拽還有通過編程進行數據分析。其中R、python是提及比較多的兩種語言
????python之前有一點點的基礎,不過都快忘了,最近開始學習R語言,主要是幾個數據可視化的模塊。
總結一下
????數據能反映出業務中的問題,而可視化是將問題快速的展示出來的好方法(ps:有一句話說的是給專業的人看表,給不專業的人看圖,哈哈哈),數據分析過程其實很有意思,抽絲剝繭一般分析數據,選擇合適的圖進行展示。
在數據分析的各個階段可以選擇使用的工具如下圖,有編程基礎的可以選擇代碼型,沒有代碼基礎的選擇界面型妥妥的。
? 上圖數據可視化方面再補充幾個:Power BI 、BDP、Fine-BI、QlikView
所以,在Excel 之外還有一大堆的數據分析、可視化的工具可以選擇。各個工具有各個工具的特性,數據分析的核心不變,哪個工具能節省我們的時間我們就用哪個。當你熟悉了其中的一款,學習另一款就是一兩天的事。
? ? ? ?對了最后最后安利部電影,最近熱映的《頭號玩家》?有條件上4D的一定要上,IMAX的其次。看導演就是一句話:“我,斯皮爾伯格,買票!”
數據分析入門書籍推薦
1、《Head First Statistics》:深入淺出統計學
2、《數據之魅-基于開源工具的數據分析》
3、《數據挖掘-市場營銷、銷售與客戶關系管理領域應用》
4、《R語言實戰》
5、《精益數據分析》
推薦閱讀:
????我是KK 李kui,分享一些產品的看法,工具或者資料,贈人玫瑰 手有余香~