數據挖掘、數據分析已成為各大企業的重點,市場前景一片光明,但如何在短時間內成為大數據挖掘工程師呢?今天,大圣眾包平臺(www.dashengzb.cn)小編就為大家介紹一位在萬達電商做數據挖掘的妹子小曼的經歷,看她是如何從數學女生一年內獲得萬達數據挖掘工程師offer。
數據挖掘師需要哪些技能?
1、無論是數據分析還是數據挖掘,統計的概念、知識是必備的,因此,EXCEL、SPSS、SAS等這些至少要熟練。小曼本身是數學系,接觸這些工具也比較多,有基礎好掌握。
2、另外,數據挖掘還至少會一門編程語言,比如現在流行Python、Java、hadoop等,有時用MapReduce寫程序,再用Hadoop或者Hyp來處理數據,如果用Python的話會和Spark相結合更配哦。
3、做數據挖掘的話,其實就是從海量數據中發現規律然后分類,應用到一些高等數學、概率論等知識,所以數據專業有優勢,另外還需要懂些算法。比如樸素貝葉斯算法需要概率方面的知識,SKM算法需要高等代數或者區間論方面的知識。個人建議要想長遠發展,數學知識是很有必要的。
數據挖掘主要工作內容有哪些?
以上是個人工作,不代表各家企業的數據挖掘。
數據分析的話更傾向于統計、分析然后作圖作報告,這方面較少做。
數據挖掘的話主要是建模型,比如,我們做百貨的數據分析。萬達電商本身的數據非常大,具體要做什么需要項目組自己來定。我們分析百貨數據就是為了提升銷售業績,帶動新的業務,因此,我們從這些點出發,去進行用戶分群工作;就拿刷卡消費記錄來說,萬達會員卡的卡號信息及歷史記錄都有,我們利用這些數據聚類,分不同的用戶群,然后用戶背后購買行為,比如傾向女裝、家居用品還是親子類等等,然后針對性推薦營銷。
一般,用戶分類主要是用K-means、K-means++等方法。(不懂挖掘算法可看《如何用數據挖掘算法進行精準營銷》)處理數據的維度特別大,是300w*142維,如果全部拿來聚類,效果不太好,所以我們會進行降維,這時需要用到AutoEncoder算法,比如我們把142維數據灌進去,在隱含層降成50維數據,輸出還是142維數據。也就是說把一開始的142維數據投射到50維數據之后,再還原成142維,這142維與之前的142維數據之間的映射關系是一樣的,那么我們就可以用中間50維的數據做聚類分析。最后需要一個評價指標,分析降維前后的效果。
無論是數據挖掘師還是數據分析師,每個人都有自己的優勢及興趣,但從長遠發展而言,個人建議不應貪多,而是提高自己的技術和業務水平,多學習編程語言,這些技術都可以慢慢學,但真正要長遠下去,并獲得升值成為核心,業務能力才是最重要,希望結合興趣,在一個領域成為專家便足矣。
(更多大數據與商業智能領域干貨、兼職機會及行業資源分享等請關注大圣眾包平臺,或添加大圣花花個人微信號(dashenghuaer),拉你入bigdata&BI交流群330648564。)