所謂遷移學習,就是將一個問題上訓練好的模型,通過簡單的調整,使其適用于一個新的問題的過程。
一、遷移學習的特點
1、需求的訓練數據集合較小
當需要訓練A問題的模型所需的訓練數據匱乏時,可以選擇訓練與A問題有關聯且數據量較為豐富的B問題,然后將訓練和調優好的B-model結合A問題的數據集,通過遷移學習得到A-model。舉例:用電影推薦模型,遷移學習音樂推薦模型
2、訓練時間較小
3、可以方便的進行遷移以滿足個性化
比如手機上的智能個人助理
二、遷移學習的四種實現方法
1、樣本遷移( Instance-based Transfer Learning )
2、特征遷移 ( Feature-based Transfer Learning )
3、模型遷移( Model-based Transfer Learning )
4、關系遷移( Relational Transfer Learning )
三、遷移學習的實現步驟和難點
1、獲取一個相對大的預訓練數據
2、選擇一個合適的預訓練模型,調優訓練參數和網絡層數
3、檢驗預訓練模型效果
4、準備遷移學習訓練數據,訓練遷移網絡并評估和優化
難點:當獲取更多數據和更好的算法后,預訓練模型難以更新
四、遷移網絡的實驗工具
NanoNets工具
NanoNets是一個簡單方便的基于云端實現的遷移學習工具,其內部包含了一組已經實現好的預訓練模型,每個模型有數百萬個訓練好的參數。用戶可以自己上傳或通過網絡搜索得到數據,NanoNets將自動根據待解問題選擇最佳的預訓練模型,并根據該模型建立一個NanoNets(納米網絡),并將之適配到用戶的數據。NanoNets和預訓練模型之間的關系結構如下所示。
NanoNets
NanoNets官網:http://nanonets.ai/