我們知道，正則項通過控制參數來防止過擬合的，下面以L2正則為例，看看怎么選擇lambda，以及和偏差和方差之間的關系。

首先需要做的事，就是選擇出一些lambda的備選值，并且以2倍的速度進行增長選取。對于特定的lambda，極小化損失函數得到最優參數，再在驗證集上觀察驗證損失。

加入我們選取了12個備選的lambda值，那么可以得到12組參數以及12個驗證損失，我們比較這12個驗證損失的值，找出最小的，就是最合適的lambda的值，然后再在測試集上測試。

下面來分析下隨著lambda的變化，學習曲線的變化情況，當lambda很小的時候，最極端的是等于0，相當于沒有正則項，那么很容易過擬合，而且模型偏復雜，這時候方差比較大，在訓練集上表現很好，但是在驗證集上表現并不是很好。但是當lambda很大的時候，那么這時候參數都很小，趨近于0，那么只有常數項，此時模型會有很大的偏差，那么訓練誤差和驗證誤差都很大。

但是當我們為模型選擇合適的復雜度的時候，會得到一個驗證誤差的最優值，其實此時也是我們應該選擇的lambda的值哦~~