嶺回歸解決多重共線

概括

嶺回歸是一種簡約模型,執行L2正則化。L2正則化添加的懲罰相當于回歸系數的平方,并試圖將它們最小化。嶺回歸的方程如下所示:

LS Obj + λ (sum of the square of coefficients)

這里的目標如下:

  1. 如果 λ = 0,則輸出類似于簡單線性回歸。
  2. 如果 λ = 非常大,回歸系數將變為零。

訓練嶺回歸模型

要在R中構建嶺回歸,會用到glmnet包中的glmnet函數。使用mtcars數據集來進行對里程的預測。

# Loaging the library
library(glmnet)
# Getting the independent variable
x_var <- data.matrix(mtcars[, c("hp", "wt", "drat")])
# Getting the dependent variable
y_var <- mtcars[, "mpg"]

# Setting the range of lambda values
lambda_seq <- 10^seq(2, -2, by = -.1)
# Using glmnet function to build the ridge regression in r
fit <- glmnet(x_var, y_var, alpha = 0, lambda  = lambda_seq)
# Checking the model
summary(fit)
# Output
          Length Class     Mode
a0         41    -none-    numeric
beta      123    dgCMatrix S4
df         41    -none-    numeric
dim         2    -none-    numeric
lambda     41    -none-    numeric
dev.ratio  41    -none-    numeric
nulldev     1    -none-    numeric
npasses     1    -none-    numeric
jerr        1    -none-    numeric
offset      1    -none-    logical
call        5    -none-    call
nobs        1    -none-    numeric

選擇最佳Lambda值

glmnet 函數會針對所有不同的 lambda 值多次訓練模型,我們將這些值作為向量序列傳遞給 glmnet 函數的 lambda 參數。接下來的任務是自動使用 cv.glmnet() 函數來識別能夠導致最小誤差的最優 lambda 值。這可以通過交叉驗證來實現,交叉驗證有助于評估模型在新的、未見過的數據上的泛化能力。

以下是使用 cv.glmnet() 進行嶺回歸交叉驗證的示例:

# Using cross validation glmnet
ridge_cv <- cv.glmnet(x_var, y_var, alpha = 0, lambda = lambdas)
# Best lambda value
best_lambda <- ridge_cv$lambda.min
best_lambda
# Output
[1] 79.43000

使用K折交叉驗證決定最佳模型

最佳模型可以通過從交叉驗證對象中調用 glmnet.fit 來提取。根據Dev值來決定最佳模型,這里可以通過將 lambda 設置為 79.43000 來重新構建模型。

best_fit <- ridge_cv$glmnet.fit
head(best_fit)
# Output
      Df   %Dev    Lambda
 [1,]  3 0.1798 100.00000
 [2,]  3 0.2167  79.43000
 [3,]  3 0.2589  63.10000
 [4,]  3 0.3060  50.12000
 [5,]  3 0.3574  39.81000
 [6,]  3 0.4120  31.62000

建立最后的模型

# Rebuilding the model with optimal lambda value
best_ridge <- glmnet(x_var, y_var, alpha = 0, lambda = 79.43000)

確認回歸系數

coef(best_ridge)
# Output
4 x 1 sparse Matrix of class "dgCMatrix"
                      s0
(Intercept) 20.099502946
hp          -0.004398609
wt          -0.344175261
drat         0.484807607

如果事先有劃分訓練集和驗證集的話也可以通過R2值來檢查模型擬合度

# here x is the test dataset
pred <- predict(best_ridge, s = best_lambda, newx = x)

# R squared formula
actual <- test$Price
preds <- test$PreditedPrice
rss <- sum((preds - actual) ^ 2)
tss <- sum((actual - mean(actual)) ^ 2)
rsq <- 1 - rss/tss
rsq
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容