如何選擇正則項參數

我們知道,正則項通過控制參數來防止過擬合的,下面以L2正則為例,看看怎么選擇lambda,以及和偏差和方差之間的關系。

首先需要做的事,就是選擇出一些lambda的備選值,并且以2倍的速度進行增長選取。對于特定的lambda,極小化損失函數得到最優參數,再在驗證集上觀察驗證損失。

加入我們選取了12個備選的lambda值,那么可以得到12組參數以及12個驗證損失,我們比較這12個驗證損失的值,找出最小的,就是最合適的lambda的值,然后再在測試集上測試。

下面來分析下隨著lambda的變化,學習曲線的變化情況,當lambda很小的時候,最極端的是等于0,相當于沒有正則項,那么很容易過擬合,而且模型偏復雜,這時候方差比較大,在訓練集上表現很好,但是在驗證集上表現并不是很好。但是當lambda很大的時候,那么這時候參數都很小,趨近于0,那么只有常數項,此時模型會有很大的偏差,那么訓練誤差和驗證誤差都很大。

但是當我們為模型選擇合適的復雜度的時候,會得到一個驗證誤差的最優值,其實此時也是我們應該選擇的lambda的值哦~~

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容