1 數據挖掘
數據挖掘（Data Mining，簡稱DM），是指從大量的數據中，挖掘出未知的且有價值的信息和知識的過程
2 機器學習 與 數據挖掘
與數據挖掘類似的有一個術語叫做”機器學習“，這兩個術語在本質上的區別不大，如果在書店分別購買兩本講數據挖掘和機器學習的書籍，書中大部分內容都是互相重復的。具體來說，小的區別如下：
機器學習這個詞應該更側重于技術方面和各種算法，一般提到機器學習就會想到語音識別，圖像視頻識別，機器翻譯，無人駕駛等等各種其他的模式識別，甚至于谷歌大腦等AI，這些東西的一個共同點就是極其復雜的算法，所以說機器學習的核心就是各種精妙的算法。
數據挖掘則更偏向于“數據”而非算法，而且包括了很多數據的前期處理，用爬蟲爬取數據，然后做數據的清洗，數據的整合，數據有效性檢測，數據可視化（畫圖）等等，最后才是用一些統計的或者機器學習的算法來抽取某些有用的“知識”。前期數據處理的工作比較多。
所以，數據挖掘的范疇要更廣泛一些。
3 數據挖掘所覆蓋的學科
數據挖掘是一門交叉學科，覆蓋了統計學、計算機程序設計、數學與算法、數據庫、機器學習、市場營銷、數據可視化等領域的理論和實踐成果
4 數據挖掘的誤區
算法至上論：數據挖據是某些對大量數據操作的算法，這些算法能夠自動地發現新的知識。
技術至上論：數據挖據需要非常高深的分析技能，需要精通高深的數據挖掘算法，需要熟練程序開發設計
這兩種認知都是有問題的，實際上，數據挖掘是人們處理商業問題的某些方法，通過適量的數據挖掘來獲得有價值的結果，最好的數據挖掘工程師往往是那些熟悉和理解業務的人。
5 數據挖掘能解決什么問題
商業上的問題多種多樣，例如：
“如何能降低用戶流失率？”
“某個用戶是否會響應本次營銷活動？“
"如何細分現有目標市場？"
“如何制定交叉銷售策略以提升銷售額？”
“如何預測未來銷量？”
從數據挖掘的角度看，都可以轉換為五類問題：分類，聚類，回歸，關聯和推薦。
5.1 分類問題
簡單來說，就是根據已經分好類的一推數據，分析每一類的潛在特征建立分類模型。對于新數據，可以輸出新出具屬于每一類的概率。
比如主流郵箱都具備的垃圾郵件識別功能：一開始，正常郵件和垃圾郵件都是混合在一起的，如果我們手工去點擊哪些是垃圾郵件，逐漸的，垃圾郵件就會自動被識別放到垃圾文件夾。如果我們對于混在正常郵件中的垃圾持續進行判斷，系統的識別率就會越來越高。我們人工點擊判斷，相當于預先分類（兩類：垃圾郵件和非垃圾郵件），系統就會自己學習兩類郵件的特征建立模式，對于新郵件，會根據模式判斷屬于每個類別的可能性。
5.2 聚類問題
和分類算法是不同概念，但是工作中業務人員經常誤用。 聚類的的目的也是把數據分類，但類別并不是預先定義的，算法根據“物以類聚”的原則，判斷各條數據之間的相似性，相似的就歸為一類。
比如我有十萬消費者的信息數據，比如包括性別，年齡，收入，消費等，通過聚類的方法事可以把這些數據分成不同的群，理論上每群用戶內都是相似性較高的，就可以覆蓋分群用戶制定不同的策略
5.3 回歸問題
回歸問題和分類問題有點類似，但是回歸問題中的因變量是一個數值，而分類問題，最終輸出的因變量是一個類別
簡單理解，就是定義一個因變量，在定義若干自變量，找到一個數學公式，描述自變量和因變量之間的關系
比如，我們要研究房價，然后收集房子距離市中心的距離，面積，收集足夠多的房子的數據，就可以建立一個房價和距離，面積的公式，這樣給出一個新的距離和面積數據，就可以預測這個房子的價格
5.4 關聯分析
也就是很有名氣的啤酒與尿布的故事，據說這是一個真實的案例：沃爾瑪在分析銷售記錄時，發現啤酒和尿布經常一起被購買，于是他們調整了貨架，把兩者放在一起，結果真的提升了啤酒的銷量。后來還分析背后的原因，說是因為爸爸在給寶寶買尿布的時候，會順便給自己買點啤酒……這已經成為了數據挖掘領域的一個經典橋段。
因此，關聯分析就是基于數據識別產品之間潛在的關聯，識別有可能頻繁發生的模式
5.5 推薦系統
利用電子商務網站向客戶提供商品信息和建議，幫助用戶決定應該購買什么產品，模擬銷售人員幫助客戶完成購買過程也。也就是平時我們在瀏覽電商網站、視頻網站、新聞App中"猜你喜歡"、“其他人也購買了XXX”等類似的功能。
6 數據挖掘的工作流程
數據挖掘的通用流程叫做CRISP-DM（Cross Industry Standard Process-Data Mining）數據挖掘方法論
6.1 商業理解
商業理解階段主要完成對商業問題的界定，以及對企業內外部資源進行評估與組織，最終確定將企業的商業目標轉化為數據挖掘目標，并制定項目的方案
6.2 數據理解
了解企業目前數據現狀，提出數據需求，并盡可能多的收集數據。通過初步的數據探索，快速了解數據的質量
6.3 數據準備
在建立數據挖掘模型之前對數據做最后的準備工作，主要是把收集到的各部分數據關聯起來，形成一張最終數據寬表。這個階段其實是耗時最長的階段，一般會占據整個數據挖掘項目的70%左右的時間，包括數據導入、數據抽取、數據清洗、數據合并、新變量計算等工作。
6.4 模型構建
模型構建是數據挖掘工作的核心階段。主要包括準備模型的訓練集和驗證集，選擇并使用適當的建模技術和算法，模型建立，模型效果對比等工作
6.5 模型評估
模型評估主要從兩個方面進行評價：
1）技術層面：
? ? - 設計對照組進行比較。
? ? - 根據常用的模型評估指標進行評價，如命中率、覆蓋率、提升度等
2）業務經驗：業務專家憑借業務經驗對數據挖掘結果進行評估
6.6 模型部署
將數據挖掘成果程序化，將模型寫成存儲過程固化到IT平臺上，并持續觀察模型衰退變化，在發生模型衰退時，引入新的變量進行模型優化。
