淺析訓(xùn)練集 驗(yàn)證集 測試集

今天來談一談?dòng)?xùn)練集 驗(yàn)證集 測試集。

  • 訓(xùn)練集用于對模型參數(shù)的調(diào)整
  • 驗(yàn)證集用于檢測訓(xùn)練好的模型的檢驗(yàn)(可以通過查看驗(yàn)證集的效果對模型進(jìn)行調(diào)整)
  • 測試集用于測試已經(jīng)定型的模型的實(shí)際效果
    我看到一些程序里面,沒有把驗(yàn)證集考慮進(jìn)去,其實(shí)有不妥的地方,現(xiàn)在我就來通俗的說一下這個(gè)。假設(shè)你是一個(gè)學(xué)生,老師給了你許多卷子而且還有答案哦(這就是訓(xùn)練集),然后你不停的做卷子學(xué)習(xí),慢慢的你能達(dá)到很高的分?jǐn)?shù),然后你要參加期末考試了,結(jié)果要么就是你考砸了,要么就是考得很好。好,我們來分析,如果考砸了,說明老師給你的題目有問題(可以理解為訓(xùn)練集測試集不同分布),如果考得很好說明老師的題目還是可以的。好,那么問題來了,你突然被派到隔壁縣去參加期末考試(知識點(diǎn)跟你所學(xué)的一樣,也就是訓(xùn)練測試同分布),那么要怎么預(yù)測你考得如何,期末考試只有一次機(jī)會(huì)啊。好吧,這個(gè)時(shí)候驗(yàn)證集的作用就可以出來了,把老師給你的卷子抽出一小部分,給你當(dāng)模擬考試,通過看你模擬考試的成績,就可以推測你期末考試的成績,差別不會(huì)很大。
    同理,當(dāng)我們在處理機(jī)器學(xué)習(xí)問題時(shí),我們通過已用數(shù)據(jù)得到的模型,我們想知道在實(shí)際中的使用效果到底怎么樣?這時(shí)候,驗(yàn)證集就顯得很重要。我們通過模型在驗(yàn)證集表現(xiàn),不斷調(diào)整模型到最優(yōu),然后我們再用在測試集的效果來預(yù)測實(shí)際情況的效果,一般偏差很小。如果我們通過測試集的效果來調(diào)整模型,那么我們相當(dāng)于在做一張已經(jīng)知道答案的卷子,不斷去契合測試集,那么當(dāng)模型在實(shí)際應(yīng)用的時(shí)候,效果會(huì)變差。
    所以大家要習(xí)慣使用驗(yàn)證集,不要嫌麻煩。
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

推薦閱讀更多精彩內(nèi)容