http://blog.csdn.net/heyongluoyao8/article/details/49429629
過擬合的原因往往是：
1訓(xùn)練數(shù)據(jù)不足，訓(xùn)練數(shù)據(jù)無法對整個數(shù)據(jù)的分布進(jìn)行估計的時候
2訓(xùn)練過度 ，導(dǎo)致模型過擬合
1：數(shù)據(jù)集擴(kuò)增
幾種方法，采集更多的數(shù)據(jù)
復(fù)制原有的數(shù)據(jù)，加速噪聲
重采樣
生成已有模型的分布，產(chǎn)生更多數(shù)據(jù)。（比如假設(shè)數(shù)據(jù)服從高斯分布，那么就根據(jù)現(xiàn)有數(shù)據(jù)估計高斯分布的參數(shù)，然后產(chǎn)生更多的數(shù)據(jù)）
2：early-stopping
對模型進(jìn)行訓(xùn)練的過程往往是一個對模型更新的過程，這個過程往往是一個迭代的過程。在這個迭代的過程中，如果當(dāng)?shù)淮未螖?shù)，validation accuracy 不在變化時，那就就及時的停止模型的訓(xùn)練。
3：正則化
使用L1，L2，Elastic net 等正則化方法。
4：DropOut
神經(jīng)網(wǎng)絡(luò)中的方法