從數據到知識

圖片發自簡書App


導讀:《大數據》這本書的作者是涂子沛,信息管理專家、科技作家。作者題記:一個真正的信息社會,首先是一個公民社會。這給了我---需求分析人員,一個把工作做好的更加充足的理由。作者提到的一句話讓我印象深刻“數據可以治國,還可以強國”,這句話讓我感到做有意義的事就是把當下工作做好。全書包括數據的發展、數據治國、商務智能的發展、數據質量法、數據的隱私以及大數據的發展趨勢等內容。由于本次我只關注數據的統計和分析,所以下面部分重點對數據分析的四個必要條件進行總結。

信息消費了信息接受者的注意力,信息越豐富,就會導致注意力越匱乏。比如我們買衣服,可選擇的越多,選擇越困難。在企業中,信息并不匱乏,匱乏的是我們處理信息的能力。

我們有限的注意力是組織活動的主要瓶頸。

人類的理性是有限的,因此所有的決策都是基于有限理性

有限理性是介于完全理性和非完全理性之間的在一定限制下的理性,是為抓住問題的本質而簡化決策變量的條件下表現出來的理性行為。舉個在稻草中尋針的例子,有限理性就是只要找到足可以縫衣服的針就滿足了,即尋求滿意;完全理性是要找到最鋒利的針,尋求最優,從所有的備選方案中找到最優者。通過計算機里的信息輔助決策,人類理性的范圍將會擴大,決策的質量就能提高。

赫伯特·西蒙(科學家,曾獲圖靈獎和諾貝爾經濟學獎)預測:在后工業時代,也就是信息時代,人類社會面臨的中心問題將從如何提高生產率轉變為如何更好地利用信息來輔助決策。

如何將信息轉化為有用的知識為決策者提供數據支撐,可以總結為如下四點:

圖片發自簡書App

1、數據倉庫--商務智能的依托,海量數據進行分析的核心物理構架

決策支持面臨的“瓶頸式”難題,是如何有機的聚集、整合多個不同運營信息系統產生的數據。

數據的處理是重點,“數據倉庫”不同于數據庫,欠著是以數據分析、決策支持為目的來組織存儲數據,而數據庫的主要目的則是為運營性系統保存、查詢數據。一種格式一致的多源數據存儲中心,數據源可以來自不同的系統,但是數據可以按統一定義的格式被提取出來,再通過清洗、轉換、集成,最后百流歸海,加載進入數據倉庫。這個提取、轉換、裝載的主要過程,可以借助ETL工具。

2、聯機分析--為企業開展高端的分析

將分立的數據庫“相聯”,進行多維度的分析。重點在一個“維”,指的是人們觀察事物、計算數據的特定角度。如沃爾瑪超市,要分析自己的銷售量,可以按照時間序列分析、商品門類分析、地區國別分析,也可以按照進貨渠道分析、客戶群體分析,這些不同的角度就是維度。作為軍工企業,想了解產品設計和開發的質量情況,就可以從現場設計更改閉環情況、設計驗證完成情況、設計確認一次通過情況、產品重要試驗一次通過情況等多個維度進行分析。

隨著維度的增多,問題可能變得復雜,一旦維度超過三個,人類思維和想象力就受到很大的限制。及時同一個維度,也可以進行下轉細分(drill down),如時間維度,一年的銷量,分析人員可能對半年、季度、每個月或者某一天(如雙十一)的銷量感興趣;和上轉細分對應的是上卷(roll up),從某一個分店的銷量加總到一個城市的銷量。

需求分析人員就需要事先設計報表,即根據用戶指定的條件,由軟件人員事先一一定制,通過“一對一”的查詢,將結果通過報表的形式返回給用戶。

報表,是關系型數據庫時代將數據轉化為信息和知識最主要的手段。對于一個立足于決策的用戶來說,他的需要是“動態”的,他可能問出任意維度交叉和細分的問題,但軟件開發人員只能將最常見的問題定制在軟件中,那么對于沒有定制的問題,系統就無法回答。所以靜態的、固定的報表根本無法滿足決策分析人員的全部需要。解決方案就是用戶可以根據自己的需要隨時創建“萬維”動態報表,也就是說,報表的定制權由后臺的開發人員直接轉移到前端用戶。

3、數據挖掘--讓數據流動的更好、管理的更好、分析的更好

其實一開始的時候,數據挖掘曾一度被稱為“基于數據庫的知識發現”。數據挖掘最經典的例子就是在超市中跟尿布一起搭配購買最多的商品是啤酒,那么這個微妙的關系很難被發現,但是通過數據挖掘技術就可以實現。數據挖掘的主要目,一是發現潛藏在數據表面之下的歷史規律,二是對未來進行預測,即描述性分析和預測性分析。

圖片發自簡書App

4、數據可視化--詮釋數據之間的關系和發展趨勢,以期更好地理解、使用數據分析的結果

? 數據可視化的技術,可以通過圖像在邏輯思維的基礎上進一步激發人的形象思維和空間想象力,吸引、幫助用戶洞察數據之間隱藏的關系和規律。數據可視化的關鍵在于“設計”。信息過載不存在,問題出在糟糕的設計上,如果用來表達數據的圖形讓人感覺雜亂不解,那就需要修改設計。相對于簡單的點線圖、直方圖等,儀表盤、計分板、三維圖、動態模擬、動畫技術等等講更加直覺話和趣味化。

新時代企業的競爭,將是知識生產率的競爭。以發現新知識為使命的智能化,無疑是整個時代最為矚目的競爭利器。

推薦相關書籍:赫伯特·西蒙的《行政組織的決策過程》、愛德華·塔夫特的《定量信息的視覺展示》

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容