我們知道,正則項通過控制參數來防止過擬合的,下面以L2正則為例,看看怎么選擇lambda,以及和偏差和方差之間的關系。
首先需要做的事,就是選擇出一些lambda的備選值,并且以2倍的速度進行增長選取。對于特定的lambda,極小化損失函數得到最優參數,再在驗證集上觀察驗證損失。
加入我們選取了12個備選的lambda值,那么可以得到12組參數以及12個驗證損失,我們比較這12個驗證損失的值,找出最小的,就是最合適的lambda的值,然后再在測試集上測試。
下面來分析下隨著lambda的變化,學習曲線的變化情況,當lambda很小的時候,最極端的是等于0,相當于沒有正則項,那么很容易過擬合,而且模型偏復雜,這時候方差比較大,在訓練集上表現很好,但是在驗證集上表現并不是很好。但是當lambda很大的時候,那么這時候參數都很小,趨近于0,那么只有常數項,此時模型會有很大的偏差,那么訓練誤差和驗證誤差都很大。
但是當我們為模型選擇合適的復雜度的時候,會得到一個驗證誤差的最優值,其實此時也是我們應該選擇的lambda的值哦~~