防止過擬合的幾種方法

http://blog.csdn.net/heyongluoyao8/article/details/49429629
過擬合的原因往往是:
1訓(xùn)練數(shù)據(jù)不足,訓(xùn)練數(shù)據(jù)無法對整個數(shù)據(jù)的分布進(jìn)行估計的時候
2訓(xùn)練過度 ,導(dǎo)致模型過擬合
1:數(shù)據(jù)集擴(kuò)增
幾種方法,采集更多的數(shù)據(jù)
復(fù)制原有的數(shù)據(jù),加速噪聲
重采樣
生成已有模型的分布,產(chǎn)生更多數(shù)據(jù)。(比如假設(shè)數(shù)據(jù)服從高斯分布,那么就根據(jù)現(xiàn)有數(shù)據(jù)估計高斯分布的參數(shù),然后產(chǎn)生更多的數(shù)據(jù))
2:early-stopping
對模型進(jìn)行訓(xùn)練的過程往往是一個對模型更新的過程,這個過程往往是一個迭代的過程。在這個迭代的過程中,如果當(dāng)?shù)淮未螖?shù),validation accuracy 不在變化時,那就就及時的停止模型的訓(xùn)練。
3:正則化
使用L1,L2,Elastic net 等正則化方法。
4:DropOut
神經(jīng)網(wǎng)絡(luò)中的方法

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

推薦閱讀更多精彩內(nèi)容