【案例】恒豐銀行——基于大數據的精準營銷模型應用 https://mp.weixin.qq.com/s?src=3×tamp=1500159788&ver=1&signature=pCHfpePVrKXUGp39JEg577lopIPT9KCdx9FqIL2LbRmunZMQ-86itFcexYXKcX3Vb1ypwGo8v0IU6fkNgcsQIafGAccsZFmMb6yBYcuPdqH63EKBvL88BGFaUrBBPQl0v*mpgzYxrTCkcaJGaX2iIFRHZEDNCmuM0qhqqN294=
- Github項目: awesome-coder-resources：編程/學習/閱讀資源---開源項目,面試題,網站,書,博客,教程等等...歡迎Star,歡迎圍觀...
本篇案例為數據猿推出的大型“金融大數據主題策劃”活動（查看詳情）第一部分的系列案例/征文；感謝** 恒豐銀行** 的投遞
作為整體活動的第二部分，2017年6月29日，由數據猿主辦，上海金融信息行業協會、互聯網普惠金融研究院合辦，中國信息通信研究院、大數據發展促進委員會、上海大數據聯盟、首席數據官聯盟、中國大數據技術與應用聯盟協辦的《「數據猿·超聲波」之金融科技·商業價值探索高峰論壇》還將在上海隆重舉辦【論壇詳情】【上屆回顧（點擊閱讀原文查看）】
在論壇現場，也將頒發“技術創新獎”、“應用創新獎”、“最佳實踐獎”、“優秀案例獎”四大類案例獎
來源：數據猿丨投遞：恒豐銀行
本文長度為6000字，建議閱讀12分鐘
如今，商業銀行信息化的迅速發展，產生了大量的業務數據、中間數據和非結構化數據，大數據隨之興起。要從這些海量數據中提取出有價值的信息，為商業銀行的各類決策提供參考和服務，需要結合大數據和人工智能技術。國外的匯豐、花旗和瑞士銀行是數據挖掘技術應用的先行者。在國內的商業銀行中，大數據的思想和技術逐步開始在業務中獲得實踐和嘗試。
面對日趨激烈的行業內部競爭及互聯網金融帶來的沖擊，傳統的上門營銷、電話營銷，甚至是掃街營銷等方式跟不上時代的節奏。利用精準營銷可節約大量的人力物力、提高營銷精準程度，并減少業務環節，無形中為商業銀行節約了大量的營銷成本。
雖然恒豐銀行內部擁有客戶的基本信息和交易等大量數據，但是傳統的營銷系統并沒有挖掘出行內大量數據的價值，仍然停留在傳統的規則模型。當下，恒豐銀行接入了大量的外部數據，有著更多的維度，如果將內部數據與外部數據進行交叉，則能產生更大的價值。客戶信息收集越全面、完整，數據分析得到的結論就越趨向于合理和客觀。利用人工智能技術，建立精準營銷系統變得可能且必要。
恒豐銀行基于大數據的精準營銷方案是利用大數據平臺上的機器學習模型深入洞察客戶行為、客戶需求，客戶偏好，挖掘潛出在客戶，實現可持續的營銷計劃。
周期/節奏
2016.4-2016.5 完成需求梳理和業務調研，并在此基礎上進行總體方案設計。
2016.5-2016.8 整理銀行內、外部數據，根據營銷需求制定客戶標簽和設計文檔，實施用戶畫像。
2016.8-2016.10 在用戶畫像的基礎上，構建理財產品個性化推薦系統。其中包括個性化推薦算法調研，模型對比等一系列工作。
2016.10-2017.1 客戶需求預測并對客戶價值進行建模，并完善整合精準營銷應用模型。
2017.1-2017.3 用戶畫像、個性化推薦、客戶價值預測等精準營銷模型上線。
客戶名稱/所屬分類
恒豐銀行/客戶管理
任務/目標
根據零售業務營銷要求，運用多種數據源分析客戶行為洞察客戶需求，實現精準營銷與服務，提高銀行客戶滿意度和忠誠度。
針對不同的客戶特征、產品特征和渠道特征，制定不同市場推廣策略。為了完成以上任務，主要從以下幾個方面構建精準營銷系統：
1.用戶畫像：結合用戶的歷史行為和基本屬性給用戶打標簽。
2.精準推薦系統：給用戶推薦個性化理財產品， 例如在微信銀行中給每個客戶推薦他喜歡的產品，幫客戶找到其最適合的產品，增加產品的購買率。
3.需求預測和客戶價值：新產品發售的時候，找到最有可能購買該產品的客戶，進行短信營銷，進而提高產品響應率。客戶價值精準定位，根據客戶價值水平制定不同的推薦策略。銀行通過計算客戶使用其產品與服務后所形成的實際業務收益，充分了解每一個客戶的貢獻度，為管理層提供決策支撐。
挑戰
項目實施過程由用戶畫像，精準推薦系統，需求預測和客戶價值建模三部分組成，采用TDH機器學習平臺Discover所提供的算法和模型庫進行開發和驗證。
（一）用戶畫像的建立
客戶標簽主要包含客戶基本屬性，客戶等級標簽，客戶偏好標簽，客戶交易特征，客戶流失特征，客戶信用特征，客戶終身價值標簽，客戶潛在需求標簽。
（二）精準推薦系統的建立
由于系統復雜，且篇幅有限，僅對其中最重要的理財推薦系統做詳細闡述。精準推薦系統架構圖如下。
2.1業務問題轉化為機器學習問題
業務問題
銀行理財產品個性化推薦給客戶。 例如在微信銀行中給每個客戶推薦此客戶喜歡的產品，幫客戶找到其最適合的產品，增加產品的購買率。
將業務問題轉化為機器學習問題
理財產品種類繁多，產品迭代速度很快，客戶在繁多的產品中不能快速找到適合自己的產品，因此有必要建立一個自動化推薦模型，建立客戶理財偏好，給客戶推薦最適合的產品。
將銀行理財產品推薦業務問題轉化為機器學習問題，進而利用人工智能技術提高推薦產品的點擊率和購買率。例如在恰當的時間，通過用戶偏好的渠道給用戶推薦產品，推薦的結果為用戶購買或者未購買。這個問題可以看作一個典型機器學習二分類問題：基于歷史營銷數據來訓練模型，讓模型自動學到客戶購買的產品偏好，并預測客戶下次購買理財產品的概率。對模型預測出所有客戶對所有產品的響應概率進行排序，可選擇客戶購買概率最高的topN個產品推薦給客戶。
下面將敘述如何構建該推薦預測模型。
2.2數據源準備
在建立的一個理財推薦模型之前，可以預見到相似的客戶可能會喜好相似的產品（需要表征客戶和產品的數據），同一個人的喜好可能具有連續性（購買歷史交易數據，包括基金國債等），他的存款、貸款資金可能決定了他能購買什么檔次的理財等等。因此，我們需要準備以下數據。
客戶基本屬性：客戶性別，年齡，開戶時間，評估的風險等級等等。
產品基本屬性：產品的逾期收益率，產品周期，保本非保本，風險等級等。
客戶購買理財產品的歷史：在什么時候購買什么產品以及購買的金額。
客戶的存款歷史： 客戶歷史存款日均余額等。
客戶的貸款歷史： 客戶歷史貸款信息等。
客戶工資：客戶工資的多少也決定了客戶購買理財的額度和偏好。
用戶畫像提取的特征：用戶的AUM等級，貢獻度，之前購買基金，國債的金額等。
2.3特征轉換和抽取
有了這么多數據，但是有一部分特征是算法不能直接處理的，還有一部分數據是算法不能直接利用的。
特征轉換
把不能處理的特征做一些轉換，處理成算法容易處理的干凈特征。舉例如下：
開戶日期。就時間屬性本身來說，對模型來說不具有任何意義，需要把開戶日期轉變成到購買理財時的時間間隔。
產品特征。從理財產品信息表里面可以得到風險等級，起點金額等。但是并沒有標志這款產品是否是新手專屬，是否是忠誠客戶專屬。這就需要我們從產品名字抽取這款產品的上述特征。
客戶交易的時間信息。同客戶的開戶日期，孤立時間點的交易信息不具有任何意義，我們可以把交易時間轉變為距離上次購買的時間間隔。
特征抽取
還有一部分數據算法不能直接利用，例如客戶存款信息，客戶交易信息。我們需用從理財交易和存款表中抽取可能有用的信息。
用戶存款信息：根據我們的經驗，客戶購買理財之前的存款變動信息更能表明客戶購買理財的真實想法，因此我們需要從客戶歷史存款數據抽取客戶近三個月，近一個月，近一周的日均余額，以體現客戶存款變化。
客戶交易信息：客戶最近一次購買的產品、購買的金額、及其相關屬性，最近一個月購買的產品、購買的金額及其相關屬性等等。
以上例舉的只是部分特征。
2.4構造、劃分訓練和測試集
構造
以上說明了如何抽取客戶購買理財的相關特征，只是針對正樣本的，即客戶購買某種理財時候的特征。隱藏著的信息是，此客戶當時沒有購買其他在發售的產品。假設把客戶購買了產品的標簽設為1，沒有購買的產品樣本設為0，我們大致有如下訓練樣本（只列舉部分特征）。
其中客戶是否購買產品是我們在有監督訓練的標簽，也就是我們建立的是一個預測客戶是否會購買產的模型。
劃分訓練集和測試集
考慮到最終模型會預測將來的某時間客戶購買某種產品的概率，為了更真實的測試模型效果，以時間來切分訓練集和測試集。具體做法如下。假設我們有2016-09-01 ~ 2017-03-20 的理財購買相關數據。以2016-09-01 ~ 2017-03-19的理財交易數據作為訓練，2017-03-20這一天的客戶對每個產品是否購買的數據作為測試。以2016-09-01 ~ 2017-03-18的理財交易數據作為訓練，2017-03-19這一天的客戶對每個產品是否購買的數據作為測試，以此類推。
2.5模型訓練
根據提取的特征，組成樣本寬表，輸入到分類模型，這里選擇了TDH平臺機器學習組件Discover所提供的近百個分布式算法進行建模和訓練，同時我們還使用了特征的高階交叉特性進行推薦的預測和分析。
2.6模型評估
評價推薦好壞的指標很多，比較常用的有
1.ROC曲線下面積（AUC）
2.logloss
3.推薦產品第一次命中rank的倒數（MRR）
4.TopN
針對銀行的理財推薦實際業務，客戶當天絕大多數是只購買了某一款理財，MRR(Mean Average Precision 的特殊情況)能反應這種情況下推薦的好壞。另一種直觀的評價指標是TopN，假定我們只推薦N個模型認為客戶最有可能購買的產品，并和真實情況比較，就能得到當天推薦的結果的混淆矩陣，TN，TP，FN，FP，recall，precision等。
我們在生產上驗證了最近十天的推薦效果，即測試了2017-03-20， 2017-03-19，…… , 2017-03-11等十天的推薦效果，以下是這些結果的評價。
AUC
Logloss
MRR
0.89
0.45
0.78
也可以把新客戶（之前沒有購買理財）和老客戶（至少購買過一次）分開評估效果。 新客戶的購買占了整個理財購買的1/3 以上。
測試新客戶的預測效果，可以看出模型對冷啟動問題解決的好壞。
對新客戶的預測效果
AUC
Logloss
MRR
0.80
0.73
0.32
對老客戶的預測效果
AUC
Logloss
MRR
0.92
0.38
0.88
2.7模型優化
1.上線之前的優化：特征提取，樣本抽樣，參數調參
2.上線之后的迭代，根據實際的A/B testing和業務人員的建議改進模型
（三）需求預測和客戶價值
“顧客終生價值”(Customer Lifetime Value)指的是每個購買者在未來可能為企業帶來的收益總和。研究表明，如同某種產品一樣，顧客對于企業利潤的貢獻也可以分為導入期、快速增長期、成熟期和衰退期。
經典的客戶終身價值建模的模型基于客戶RFM模型。模型簡單的把客戶劃分為幾個狀態，有一定意義但不一定準確，畢竟RFM模型用到的特征不全面，不能很好的表征客戶的價值以及客戶銀行關系管理。
為了方便的對客戶終身價值建模，有幾個假定條件。其一把客戶的購買價值近似為客戶為企業帶來的總收益，其二把未來時間定義在未來一個季度、半年或者一年。也就是我們通過預測客戶在下一個時間段內的購買價值來定義客戶的終身價值。因此，我們將預測的問題分為兩個步驟：第一步預測這個客戶在下一個階段是否會發生購買（需求預測）。第二步對預測有購買行為的客戶繼續建模預測會購買多大產品價值。
3.1需求預測
提取客戶定活期存款、pos機刷卡、渠道端查詢歷史等特征，以這些特征作為輸入預測用戶在當前時間節點是否有購買需求，訓練和測試樣本構造如下：
1.歷史用戶購買記錄作為正樣本。
2.抽樣一部分從未購買的理財產品的用戶作為負樣本集合Un，對于每一個正樣本Un中隨機選取一個用戶構造負樣本。
3.選取2016.04-201610 的購買數據作為訓練樣本，2016.11的數據作為測試樣本。
使用機器學習算法進行分類訓練和預測，重復上述實驗，得到下列結果:
AUC: 0.930451274
precision: 0.8993963783
recall: 0.8357507082
fmeasure: 0.8664062729
進一步對客戶分群之后，可以更好的對新客戶進行建模，對于老客戶我們可以進一步提取他們的歷史購買特征，預測他們在下一段時間內購買的產品價值（數量，金額等），對于新客戶，可以進根據他的存款量預測其第一次購買的產品價值，把存款客戶變成理財客戶。通過分析客戶存款變動于客戶購買理財的關系，我們發現客戶購買理財的前一段時間內定活期的增加的有不同的模式，如下圖。
根據需求預測模型，我們給出新客戶最有可能購買的top N 列表，然后由業務人員進行市場推廣。
3.2客戶價值預測
進一步預測有購買需求的客戶的購買價值高低。這是個回歸問題，但是預測變量從二分類變量變為預測連續的金額值。訓練的時候預測值取訓練周期內（一個月或者季度）客戶所購買的總金額。
算出客戶的當前價值（即當前階段購買的產品價值）和未來價值（預測的下一個階段的客戶價值）可以幫助我們鑒定客戶處于流失階段，或者上升階段，或者是穩定階段。當前價值取的是當前時間前三個月的交易量。對流失階段高價值客戶可以適當給予營銷優惠，對于有購買意向的客戶適當引導。如下圖所示。
結果/效果
一是提高銀行營銷準確性。隨著客戶不斷增加，理財產品也在不斷推陳出新，在實時精準營銷平臺的幫助下，銀行從以前盲目撒網式的營銷方式轉變到對不同客戶精準觸達，提高了理財產品的營銷成功率，降低銷售和運作成本。理財產品推薦的上線以來，產品推薦成功率比專家經驗排序模型最高提升10倍。
二是增加銀行獲客數量。精準營銷系統洞察客戶潛在需求和偏好，提高了銀行獲取目標客戶群的準確率。從數百萬客戶中,通過機器學習模型,找到最有可能購買產品的客戶群，通過渠道營銷，實現響應率提升。相比傳統盲發模式，發送原38%的短信即可覆蓋80%的客戶。
通過構建基于大數據的精準營銷方案，恒豐銀行深入洞察客戶行為、需求、偏好，幫助銀行深入了解客戶，并打造個性化推薦系統和建立客戶價值預測模型，實現可持續的營銷計劃。
