結構化數據和非結構化數據

• 結構化數據（表）
  
• 半結構化數據（文本，日志）
  
• 非結構化數據（圖像，視頻）
  

監督學習：

• 參數空間
• 決策模型
• 概率模型
• 或者
• 生成模型：由數據學習聯合概率分布P(X,Y)，然后求出條件概率分布P(Y|X)作為預測的模型，即生成模型：P(Y|X)= P(X,Y)/ P(X)。（樸素貝葉斯）
• 生成模型可以還原聯合概率分布p(X,Y)，并且有較快的學習收斂速度，還可以用于隱變量的學習
• 判別模型：由數據直接學習決策函數Y=f(X)或者條件概率分布P(Y|X)作為預測的模型，即判別模型。（k近鄰、決策樹）
• 直接面對預測，往往準確率較高，直接對數據在各種程度上的抽象，所以可以簡化模型
• 準則
  

實質公式場景對參數的看法利用的信息最小化結構風險loss+正則

決策模型

最大似然概率積

概率模型確定但未知只利用樣本信息最大后驗概率
（帶正則的最大似然）貝葉斯估計

概率模型隨機變量樣本信息
+
把參數作為先驗知識

• 根據貝葉斯定理，后驗函數正比于似然函數乘以先驗概率，所以后驗概率函數一般表達如：

  ? ? ? ?

• 貝葉斯估計中的先驗概率其實就相當于最小化結構風險函數中的正則項，若先驗為拉普拉斯分布，則為L1，若先驗為高斯分布，則為L2
  

• 算法
  
• 最優化方法

（二）數據

1.常見抽樣方法

（1）簡單隨機抽樣：無放回抽樣，有放回抽樣

（2）分層抽樣

2.類別樣本不平衡的解決方法（假設負樣本遠遠大于正樣本數量）

（1）欠采樣：對負樣本進行欠采樣；一般不單純地進行欠采樣，而是結合集成學習來進行欠采樣；將負樣本劃分為若干個集合供不同分類器使用，這樣對每個分類器來看都進行了欠采樣，但在全局來看卻不會丟失重要信息；

（2）重采樣：對正樣本進行重采樣；一般不單純地進行重采樣，而是對正樣本進行插值等來產生新的正樣本；

（3）閾值移動：不是簡單地將概率閾值0.5作為正負樣本的區分界限，若負樣本過多，那么正樣本的閾值將往低于0.5方向調整；

3.處理數據缺失的常用方法：

（1）用平均值、中值、分位數、眾數、隨機值等替代；

（2）通過建模，使用其他變量來預測缺失值；

（3）將變量映射到高維空間：比如性別變量有男，女以及缺失3種情況，則映射為3個變量：是否男，是否女，是否缺失；

（4）整列刪除

4.構造線下驗證集的常用方法：

（1）hold-out-validation：將線下數據隨機劃分為一大一小兩部分，大的為訓練集，小的為驗證集，重復若干次；（典型做法是三七分）

（2）cross-validation：將線下數據劃分為k份，每次只用k-1份來訓練，剩下的1份作為驗證集，重復k次；（典型做法是k取10，k偏小則欠擬合，k偏大樣本增多則過擬合）

（3）bootstrapping：從原始數據集D中有放回地采樣，得到同樣大小的D1，D1作為訓練集，D-D1作為驗證集；

PS：

1）訓練集與驗證集的劃分要盡可能保持數據分布的一致性，避免因數據劃分過程引入額外的偏差而對最終結果產生影響，例如在分類任務中至少要保持樣本的類別比例相似；如果從采樣的角度來看待數據集的劃分過程，則保留類別比例的采樣方式通常稱為“分層采樣”；

2）驗證集較小時，評估結果的方差較大，過擬合；訓練集較小時，評估結果的偏差較大，欠擬合；

3）leave-one-out是k-fold cross-validation的特殊例子，只留一個樣本做驗證集；評估結果往往比較準確，但是不適用于大樣本數據；（訓練的計算開銷太大）

4）bootstrapping可以產生多個不同的訓練集，適用于ensemble learning；同時，由于重復采樣，所以會改變初始訓練集的分布，造成樣本泄露，因此一般適用于小樣本，在數據量足夠的情況下，常采用hold-out-validation或者cross-validation；

5.常見的離線評價指標：

（1）準確率（Accuracy）與平均準確率(Average Per-class Accuracy)

其中平均準確率是對各個類的準確率取平均值

（2）混淆矩陣：對二分類結果進行詳細表述的一個矩陣

6.常見的在線評價指標——A/B test

7.驗證集和測試集的區別

驗證集：用于調整子模型或者其超參數，做模型選擇

測試集：用來評測多個最終模型

如果采用 k-折交叉驗證等重采樣方法，尤其當重采樣方法已經被嵌套在模型驗證中時，「驗證數據集」和「測試數據集」的概念可能會淡化

（三）特征

1.冗余特征

（1）冗余特征指的是其所包含的信息能從其他特征中推演出來；

（2）去除冗余特征會減輕學習過程的負擔，增加冗余特征會降低學習任務的難度；

2.特征選擇：從給定的特征集合中選擇出相關特征子集的過程稱作“特征選擇”；其中包括子集搜索問題與子集評價問題：

（1）子集搜索：前向搜索（逐漸往子集增加特征），后向搜索（逐漸往全集剔除特征）

（2）子集評價：信息增益，基尼指數

PS：

（1）子集搜索中的前后向搜索都是貪心策略，所以不一定是最優，這是不進行窮舉搜索所無法避免的；

（2）將特征子集搜索機制與子集評價機制相結合，可以得到特征選擇方法，例如前向搜索與信息熵結合，得到的是決策樹的特征選擇方法；

3.特征選擇常見方法：過濾式（filter），包裹式（wrapper），嵌入式（embedding）

（1）過濾式 Filter：

根據CHI，PCA等降維

先做特征選擇，再訓練學習器

優點： 快速， 只需要基礎統計知識， 特征選擇過程與后續的學習器的訓練沒有關系 。

缺點：特征之間的組合效應難以挖掘。

（2）包裹式 Wrapper ：

根據效果好的算法的結果搜索 “量身定做”的特征子集

優點： 直接面向算法優化，從最終學習性能來看，包裹式比過濾式更好，不需要太多知識。

缺點： 龐大的搜索空間， 需要定義啟發式策略。

（3）嵌入式Embedded：

將特征選擇與學習器訓練融為一體使用各種的稀疏和懲罰項

優點： 快速， 并且面向算法，兩者在同一個優化過程中完成，即在學習器訓練過程中自動地進行了特征選擇。

缺點： 需要調整結構和參數配置， 而這需要深入的知識和經驗。

（四）模型

1.模型選擇的常用方法：

（1）正則化

（2）交叉驗證

PS：當假設空間含有不同的復雜度（例如，不同的參數個數）的模型時，就要面臨模型選擇的問題；

2.過擬合與欠擬合

（1）過擬合是模型的學習能力太強，把樣本的噪聲都學習進去；

（2）欠擬合是模型的學習能力太弱，連樣本的一般特性都沒有學習進去；

3.泛化能力與泛化誤差上界

（1）泛化能力是指由該方法學習到的模型對未知數據的預測能力，是學習方法本質上最重要的性質；

（2）泛化誤差上界：訓練誤差越小，泛化誤差上界也越小；樣本容量越大，泛化誤差上界也越小；模型越復雜，泛化誤差上界越大；

5.常用的防止過擬合的方法：

（1）數據集擴增

（2）正則化：約束參數大小

6.bias與variance

（1）bias：結果和預測的偏差，擬合誤差，表示模型的擬合能力，偏差越小，模型的擬合能力越強；（寬廣網的DNN部分）

擬合誤差表示是否已經把線偏差到指定位置

（2）variance：結果和預測的方差，泛化誤差，表示模型的泛化能力，方差越小，模型的泛化能力越強；（寬廣網的LR部分）

方差表示這根線有多符合這個驗證集

（3）error = bias + variance

是個問題

7.調試性能較差的分類器

• 對于出現了高方差（過擬合）
  
• 增加更多的數據，降低模型復雜度
• ill-condition，可以用L2正則化處理，或者檢查數據，重新搜索參數
• 對于出現了高偏差（欠擬合）
  
• 增加模型復雜度，或者嘗試別的模型
• 改變目標：
  
• 訓練和測試數據不均衡的情況下，應該關注準確率和召回率
• 注意的問題：很低的訓練誤差，甚至是0不一定很好，只是有可能出現了N小于P的情況，樣本數小于特征數

8.模型參數與超參數

（1）機器學習模型建立過程其實是一個參數學習與調優的過程，參數包括模型參數與超參數；

（2）模型參數使指通過模型訓練中的學習算法而進行調整的，而模型超參數不是通過學習算法而來的，但是同樣也需要進行調優，比如特征的維數等；

（3）常見的調參方法有：網格搜索，隨機搜索，啟發式搜索；

（4）調參是通過線下驗證集進行的；

9.VC維（Vapnik-Chervonenkis Dimension）：VC維是統計學習理論中的一個核心概念，它是目前為止對函數集學習性能的最好描述指標

（1）shatter（打散）概念：給定訓練樣本集合x1，x2，...，xn；,其中每個樣本有兩個可選的label（+1， -1），因此總共有2的n次方種不同的label組合；如果對于其中每一種組合，分類模型（函數集） F 都能夠對其進行正確的劃分，那么我們稱 F 能夠將訓練樣本集合打散（shatter）；

（2）VC維的概念：指函數集H能夠打散的最大樣本數稱為H的VC維；

（3）對于一個模型來說，其VC維越大，則其模型復雜度越高，需要更多的訓練數據，因此為了防止過擬合，加入正則項，其實也就是降低模型的VC維；

（4）一個機器學習模型想要取得好的效果，這個模型需要滿足以下兩個條件：

1. 模型在我們的訓練數據上的表現要不錯，也就是 trainning error 要足夠小。
2. 模型的 vc-dimension 要低。換句話說，就是模型的自由度不能太大，以防overfit.

換句話說，模型的維度大的容易過擬合，而數據量小的容易過擬合

PS：線性SVM的VC維為d+1（任何線性分類器的VC維都是d+1）；高斯核函數的VC維為無窮大；NN（Neural Networks ）的VC維為參數量；樹模型的vc維度很接近樣本

10.集成學習（ensemble learning）的常用方法：

（1）bagging：訓練不同的模型，對預測結果取均值或者投票等（減小variance，增強泛化）；

（2）boosting：迭代算法，在上一次分類結果上進行迭代調整（減小bias，增強擬合）；

（3）stacking/cascade：訓練不同的模型，用每個模型的預測作為輸入，訓練新的模型；

11.多分類的常見方法（假設N個類）

（1）one vs rest：構建N個分類器，每個分類器依次將每個類做為正樣本，剩余的類作為負樣本

（2）one vs one：構建N*（N-1）/2個分類器，每個分類器選擇兩個類的樣本進行訓練

特征的生產流程

特征的統計部分的流程：

各個部分稱為算子

其中，特征的范式：

針對某些統計對象（用戶、商家）的一些維度（品類、下單額），基于某些度量值（點擊、下單）做統計（比例/總和）。

同一對象，可統計不同維度；同一維度，有不同的度量角度；同一度量角度，有不同的統計方式。

• deal(即團購單，下同)維度的特征：主要是deal本身的一些屬性，包括價格、折扣、銷量、評分、類別、點擊率等
• user維度的特征：包括用戶等級、用戶的人口屬性、用戶的客戶端類型等
• user、deal的交叉特征：包括用戶對deal的點擊、收藏、購買等
• 距離特征：包括用戶的實時地理位置、常去地理位置、工作地、居住地等與poi的距離

特征選擇

對于每個特征，加入子特征可以提高性能：

能讓模型更快地收斂

召回層【協同過濾去除不合適的，選取重要的】

-----------------------------------

用戶畫像層【回流到FFM那層】

非線性映射層：全連接，wide【泛化】&deep【記憶】

特征處理層：FFM特征組合，tfidf計算，降維層，語義提取

embedding層

LR跟NB的區別：

相同：都是特征的線性表達，都是求條件概率P(y|x)

不同：

NB是生成模型，直接在訓練數據計算P(x|y)和P(y)的概率，從而利用貝葉斯公式計算P(y|x)。LR是判別模型，通過最大化P(y|x)的函數產生。

NB比較Naive。

當數據集比較小的時候，應該選用Naive Bayes，為了能夠取得很好的效果，數據的需求量為O(log n)。 當數據集比較大的時候，應該選用Logistic Regression，為了能夠取得很好的效果，數據的需求量為O( n)

Bagging

【切分數據集，結果加權】Bagging試圖在小樣本集上實現相似的學習模塊，然后對預測值求平均值。對于Bagging一般來說，你可以在不同數據集上使用不同學習模塊。正如你所期望的那樣，這樣可以幫助我們減少方差，增強泛化。

Boosting

【誤差梯度下降】Boosting是一項迭代技術，它在上一次分類的基礎上調整觀測值的權重。如果觀測值被錯誤分類，它就會增加這個觀測值的權重，反之亦然。Boosting一般會減少偏置誤差然后構建強大的預測模型。但是，有些時候它們也會在訓練數據上過擬合。

Stacking

【簡單的blending】訓練集中取子集，交叉訓練基模型，再用總模型匯總。這樣做可以減少偏置誤差和方差（泛化誤差）。

線性stacking：

用線性模型做最終模型，這樣就能看見每個模型的權重

二次線性stacking：

把模型的輸出和他們之間結果的組合一起作為最終模型的輸入

不會信息泄露，融合一切模型和參數

沒有stacking的交叉驗證的性能

一般采用這種

如何選擇要融合的模型的超參數：

比如，標準化的時候選用三種：

• 不標準化數據
• 使用z標準化
• 使用0-1標準化

另外，在特征選擇和數據缺失值填補的時候使用不同參數