隨著在公司里面一個個項目的推進和完成，并且項目結果也都受到客戶的好評，這里將最近關于數據挖掘的一點思考分享出來，也希望能夠和大家討論。這里說的思考主要是圍繞著從數據中得到的消費者洞察幫助客戶來改進其市場、銷售和客戶支持操作過程的相關內容。
1. 為什么是現在？
《大數據時代》早已成為去年最火爆的暢銷書，網上關于3V（Volume，Velocity , Variety） 也會在各式各樣的“大數據”的話題中提及。很多人也都知道大多數的數據挖掘技術，至少是學術算法也存在了數十年，為什么現在的商業如此的關注？這里不想說什么大數據的戰略，管理等很大的內容。僅僅簡單講講我看到的一些內容和切身感受。
① 從數據中更“全面”的了解消費者
曾經讀麥肯錫報告中有提到快消品企業在以下幾個方面如果能夠更好的運用數據將能夠為企業創造更多的價值，并且也估算了相關的數值。一些報告的相關內容如下：
We estimate that these applications of open data in consumer product can enable $520billion to $1.47 trillion in value annually Marcket share shifts could also occur across the industry，as companies gain advantage by incorporating open data into their analytics.--《MGI Open Data FullReport》
其實這五個方面也都是建立在對消費者全面了解的基礎上，以前關于消費者洞察也寫過一篇《被低估的寶藏：社會化網絡中的消費者洞察》，文章主要講了三個方面：1 更豐富和貼切的消費者細分和描述 2 更真實和有效的信息獲取 3 更低的獲取成本和更大的樣本容量。一些具體這里就不細講了。但在這里面還想再補充一點，一些weak signal的捕捉也成為了可能，麥肯錫在《The strength of‘weak signals’》的報告中也指出了這一點：Snippets of information, often hidden in social-media streams, offer companies a valuable new tool for staying ahead.
公司項目里在處理消費者表達數據過程中，會對數據內容的高峰值，數據的長尾部分多次的進行多次data mining直到得到盡可能多的洞察為止。在幾個項目中我們也發現，一些特別多的表達內容的聚類內容可能都是大家在生活中會特別會出現和表達的，但是在處于長尾部分的數據往往有著很多連品牌商本身從來都沒有想到的創新點。例如在一個薯片項目，我們發現了原來薯片的吃法可以有十來種，原來薯片包裝有種種的利用，原來還有薯片哥的存在等。
做Data mining進行消費者洞察的過程就像是安安靜靜的浸入到消費者的生活中，沒有任何假設，從不發問，僅僅是聆聽和觀察，為品牌商還原出一個最真實的消費者狀態，一點一滴的刻畫出一個生動而全面的消費者畫像，而不再是一張曝光不足的照片。
② 數據大量產生，技術的成熟提供基礎
數據大量產生這一點就不用說了，看看我們每個人一天的生活里會有多大的比例泡在網上，再加上未來各種可穿戴設備，物聯網的普及，數據量之大難以想象。我主要想談談技術，也許技術這個詞不夠專業，自己在編程，數據存儲方面也不是特別了解，這里就說說算法這一部分。記得原先在《數據結構和算法》一開篇就提到關于等差數列求和的計算機求和計算，我們從小就知道等差數列的求和可利用算法公式，該算法利用了首尾兩個數據和是一樣的數據結構特征從而更簡潔。告訴計算機進行求和命令可以是兩種方法 1.一項項的加，2.直接利用算法，利用第一個方式可能在數據量少的時候計算速度與第二種相比不會有太大的差異，但如果數據量很大，后者的優越性將很明顯。后來在接觸到Apriori算法時候里用看到算法會用到一些剪枝手段減少計算機運算量的時候忍不住拍案叫絕。
另外，各式各樣的統計軟件的背后都有著大量的contributors將自己的算法程序包分享到網上，供后來人更便捷的調用使用。互聯網的這種集體智慧的共享創造方式讓后來人站在前人的肩膀上，走的更遠。但是在調用這些算法的過程中還是要對算法本身有一些原理上的理解，算法和數據結構是鑰匙和鎖，我們在實際操作的過程中還需要根據具體的情況靈活和適當的使用，會在后面的分享里細說。
③ 信息也是產品
許多公司所擁有的客戶信息不僅僅對自己有價值，同時對他人也同樣具有價值。如今很多的淘寶店鋪之間也有了很多的消費者數據的共享。互聯網也改變了品牌和品牌之間的關系，一個擁有很多青少年兒童數據的公司完全可以將自己的數據分享給做兒童食品的公司，或者更進一步，分享彼此所擁有的平臺。
2.數據挖掘 for “actionable”insights discovery
數據挖掘有很多不同的名稱，例如KDD（knowledge discovery in database），或者BI（business intelligence），預測建模（predictive model）等，但針對我們業務感受，我更愿意把數據挖掘定義為發現能夠讓品牌商產生真正落地行為的洞察或發現。以下舉兩個在項目中的小例子：
品牌商在社會化網絡中的營銷推廣換個角度說就是找對的人講對的話，于是我們的數據挖掘項目中首先會通過數據挖掘手段找到品牌潛在消費者，重要影響者，之后通過人群表達的語言地圖描繪出興趣圖譜和品牌圖譜，了解消費者是什么樣的人，消費者眼中的品牌是怎么樣的，之后在通過人群在社會化網絡形成關系的數據挖掘呈現出消費者所在社區樣式，誰會是一個關鍵的tipping point，這個社區又呈現什么樣的特征。這樣品牌商在拿到我們哪個是的數據內容后，立即可以根據人群洞察制定相應的營銷內容策略，也知道在社會化網絡中需要哪些消費者進行engage。
在電商的數據挖掘中，我們通過對消費者的表達研究了解消費者購買產品的關注重點是什么，影響產品滿意度的重要因素是什么，其次我們會對消費者的線上購買行為數據進行研究，去看消費者購買除了買自己品牌的商品同時還會購買哪些競品品牌。結合這表達和行為的洞察，再深入探究競品的商品展示，宣傳，品牌形象，等等各方面和本品之間的差異點。這樣品牌商在電商運營中更能有方向性的去改進產品和消費者之間的溝通方式。
所以，數據挖掘是在一項探測大量數據以發現有意義的模式和規則的業務流程，我們關注的重點在于發現的知識是否有意義，是否actionable。正如沈浩老師說的：“這是一個令人興奮的時代，也是一個大數據的時代，社交媒體讓我們越來越多地從數據中觀察到人類社會的復雜行為模式。以數據為基礎的技術決定著人類的未來，但并非是數據本身改變了我們的世界，起決定作用的是我們對可用知識的增加。”
