多元線性回歸模型中，如果所有特征一起上，容易造成過擬合使測試數據誤差方差過大；因此減少不必要的特征，簡化模型是減小方差的一個重要步驟。除了直接對特征篩選，來也可以進行特征壓縮，減少某些不重要的特征系數，系數壓縮趨近于0就可以認為舍棄該特征。

嶺回歸（Ridge Regression）和Lasso回歸是在普通最小二乘線性回歸的基礎上加上正則項以對參數進行壓縮懲罰。

首先，對于普通的最小二乘線性回歸，它的代價函數是：

線性回歸RSS

通過擬合系數β來使RSS最小。方法很簡單，求偏導利用線性代數解方程組即可。

根據線性代數的理論可知，只要樣本量合適，它就存在唯一解，也就是該模型的最優解。

這么做盡管使RSS達到了最小，它還是把所有的特征看作同樣重要的程度來求解，并沒有做任何特征選擇，因此存在過擬合的可能。

嶺回歸在OLS回歸模型的RSS上加上了懲罰項（l2范數），這樣代價函數就成為：

嶺回歸的代價函數

λ是一個非負的調節參數，可以看到：當λ=0時，此時它與RSS一致，沒有起到任何懲罰作用；當λ -> ∞時，它的懲罰項也就是無窮大，而為了使代價函數最小，只能壓縮系數β趨近于0。

但是因為λ不可能為無窮大，二次項求偏導時總會保留變量本身，所以事實上它也不可能真正地將某個特征壓縮為0。盡管系數較小可以有效減小方差，但依然留著一大長串特征會使模型不便于解釋。這是嶺回歸的缺點。

lasso回歸的正項則就把二次項改成了一次絕對值（l1范數），具體為：

lasso回歸的代價函數

一次項求導可以抹去變量本身，因此lasso回歸的系數可以為0。這樣可以起來真正的特征篩選效果。

無論對于嶺回歸還是lasso回歸，本質都是通過調節λ來實現模型誤差vs方差的平衡調整。

訓練構建嶺回歸模型

> library(ISLR)
> Hitters = na.omit(Hitters)
> x = model.matrix(Salary~., Hitters)[,-1] # 構建回歸設計矩陣
> y = Hitters$Salary
> 
> library(glmnet)
> grid = 10^seq(10,-2,length = 100) # 生成100個λ值
> ridge.mod = glmnet(x,y,alpha = 0,lambda = grid) # alpha為0表示嶺回歸模型，為1表示lasso回歸模型
> 
> dim(coef(ridge.mod)) # 20*100的系數矩陣。20是19個特征+截距項，100是λ值
[1]  20 100
> 
> # 顯然可見l2范數越大，系數就越小
> ridge.mod$lambda[50]
[1] 11497.57
> coef(ridge.mod)[,50]
  (Intercept)         AtBat          Hits         HmRun          Runs 
407.356050200   0.036957182   0.138180344   0.524629976   0.230701523 
          RBI         Walks         Years        CAtBat         CHits 
  0.239841459   0.289618741   1.107702929   0.003131815   0.011653637 
       CHmRun         CRuns          CRBI        CWalks       LeagueN 
  0.087545670   0.023379882   0.024138320   0.025015421   0.085028114 
    DivisionW       PutOuts       Assists        Errors    NewLeagueN 
 -6.215440973   0.016482577   0.002612988  -0.020502690   0.301433531 
> ridge.mod$lambda[60]
[1] 705.4802
> coef(ridge.mod)[,60]
 (Intercept)        AtBat         Hits        HmRun         Runs 
 54.32519950   0.11211115   0.65622409   1.17980910   0.93769713 
         RBI        Walks        Years       CAtBat        CHits 
  0.84718546   1.31987948   2.59640425   0.01083413   0.04674557 
      CHmRun        CRuns         CRBI       CWalks      LeagueN 
  0.33777318   0.09355528   0.09780402   0.07189612  13.68370191 
   DivisionW      PutOuts      Assists       Errors   NewLeagueN 
-54.65877750   0.11852289   0.01606037  -0.70358655   8.61181213 
> 
> # 輸入一個新的λ，比如50，來預測系數
> predict(ridge.mod,s=50,type="coefficients")[1:20,]
  (Intercept)         AtBat          Hits         HmRun          Runs 
 4.876610e+01 -3.580999e-01  1.969359e+00 -1.278248e+00  1.145892e+00 
          RBI         Walks         Years        CAtBat         CHits 
 8.038292e-01  2.716186e+00 -6.218319e+00  5.447837e-03  1.064895e-01 
       CHmRun         CRuns          CRBI        CWalks       LeagueN 
 6.244860e-01  2.214985e-01  2.186914e-01 -1.500245e-01  4.592589e+01 
    DivisionW       PutOuts       Assists        Errors    NewLeagueN 
-1.182011e+02  2.502322e-01  1.215665e-01 -3.278600e+00 -9.496680e+00 
> 
> # 劃分訓練集和測試集
> set.seed(1)
> train = sample(1:nrow(x),nrow(x)/2)
> test = (-train)
> y.test = y[test]
> 
> # 訓練模型，并計算λ=4時的MSE
> ridge.mod = glmnet(x[train,],y[train],alpha = 0,lambda = grid,thresh = 1e-12)
> ridge.pred = predict(ridge.mod,s=4,newx = x[test,])
> mean((ridge.pred - y.test)^2)
[1] 101036.8
> 
> # 增大λ為10的10^10，此時可視為各個特征都被壓縮趨近為0，基本只剩截距項起作用
> ridge.pred = predict(ridge.mod,s=1e10,newx = x[test,])
> mean((ridge.pred - y.test)^2) # MSE更大
[1] 193253.1
> 
> # 計算當λ=0也就是不加懲罰的最小二乘回歸
> ridge.pred = predict(ridge.mod,s=0,newx = x[test,])
> mean((ridge.pred - y.test)^2) # MSE減小
[1] 114723.6
> 
> ## 以上結果說明，如果λ選得不合適，結果不一定就比最小二乘回歸模型更優。至于怎么選擇λ，就用交叉驗證法。
> 
> set.seed(1)
> cv.out = cv.glmnet(x[train,],y[train],alpha=0)
> plot(cv.out)
> bestlam = cv.out$lambda.min
> bestlam # MSE最小的λ約為212
[1] 211.7416
> 
> ridge.pred = predict(ridge.mod,s=bestlam,newx = x[test,])
> mean((ridge.pred - y.test)^2) # MSE減小
[1] 96015.51
> 
> # 基于整個數據集構建嶺回歸模型
> out = glmnet(x,y,alpha = 0)
> predict(out,type = "coefficients",s=bestlam)[1:20,]
 (Intercept)        AtBat         Hits        HmRun         Runs 
  9.88487157   0.03143991   1.00882875   0.13927624   1.11320781 
         RBI        Walks        Years       CAtBat        CHits 
  0.87318990   1.80410229   0.13074381   0.01113978   0.06489843 
      CHmRun        CRuns         CRBI       CWalks      LeagueN 
  0.45158546   0.12900049   0.13737712   0.02908572  27.18227535 
   DivisionW      PutOuts      Assists       Errors   NewLeagueN 
-91.63411299   0.19149252   0.04254536  -1.81244470   7.21208390 
> 
> ## 可見嶺回歸模型還是19個特征，沒有舍棄任何特征！

cv.out的圖如下：

cv.out

當log(λ)為5.+時（log(bestlam)=5.3），MSE最小。

訓練構建lasso回歸模型

> lasso.mod = glmnet(x[train,],y[train],alpha = 1,lambda = grid)
> plot(lasso.mod) # 可見有些特征的系數確實可以為0
> 
> set.seed(1)
> cv.out = cv.glmnet(x[train,],y[train],alpha =1)
> plot(cv.out)
> bestlam = cv.out$lambda.min
> bestlam # MSE最小的λ約為16
[1] 16.78016
> lasso.pred = predict(lasso.mod,s=bestlam,newx = x[test,])
> mean((lasso.pred-y.test)^2)
[1] 100743.4
> 
> ## 可見lasso回歸模型與嶺回歸模型MSE差不多，甚至嶺回歸模型的MSE更小一些。
> 
> out = glmnet(x,y,alpha = 1,lambda = grid)
> lasso.coef = predict(out,type="coefficients",s=bestlam)[1:20,]
> lasso.coef
 (Intercept)        AtBat         Hits        HmRun         Runs 
  18.5394844    0.0000000    1.8735390    0.0000000    0.0000000 
         RBI        Walks        Years       CAtBat        CHits 
   0.0000000    2.2178444    0.0000000    0.0000000    0.0000000 
      CHmRun        CRuns         CRBI       CWalks      LeagueN 
   0.0000000    0.2071252    0.4130132    0.0000000    3.2666677 
   DivisionW      PutOuts      Assists       Errors   NewLeagueN 
-103.4845458    0.2204284    0.0000000    0.0000000    0.0000000 
> 
> ## 可見lasso回歸模型中，有12個特征系數被壓縮至0。相對于嶺回歸模型，這里的lasso回歸模型以犧牲一部分的準確度為代價，換取更簡潔的模型，增加模型的可解釋性。這是lasso回歸的優勢。