Tensorflow超參數的選擇

從上個例子里,我們寫死了learning rate 以及 batch-size,在超參數的選擇過程中,還會涉及到其他參數,比如正則項系數,這里我們暫時不考慮其他.只是基于我們上個例子進行討論.

1.learning rate的選擇
  1.1 learning rate面臨的問題很好理解.
  1.2 如何調整
  1.3 動態變化的learning rate
2.訓練停止的時機
  2.1 early-stoping
  2.2 谷底策略
3.MIni-batch size的選擇
4.例子實踐
  4.1 learning rate
  4.2 mini-batch size
  4.3 谷底策略

1.learning rate的選擇

1.1 learning rate面臨的問題很好理解.

如果太小,梯度下降就太慢了,要花比較久才能到達谷底.但是有利于尋找某個局部最優.
如果太大,又容易邁過了谷底,在倆個山峰之間來回震蕩.無法形成收斂.

1.2 如何調整

在實踐中,一般都是通過不斷嘗試來調整.學習速率設置為0.01，然后觀察training cost的走向，如果cost在減小，那你可以逐步地調大學習速率，0.1，1.0….如果cost在增大，那就得減小學習速率，0.001，0.0001….經過一番嘗試之后，你可以大概確定學習速率的合適的值.
這個地方你會發現我們并沒有使用validation set來進行learning rate的選擇,而是使用了training set來評價.
《Neural networks and deep learning》中對這個問題進行了描述.
大意是使用哪種數據集合屬于個人偏好.其他超參數主要是為了提高test-set上的accuracy,對accuracy有直接的影響.
而learning rate對于accruracy卻是很間接.它的主要目的是控制梯度下降的步伐.

1.3 動態變化的learning rate

你應該會想到如果在開始階段,使用某一個learning rate來進行梯度下降,在逼近谷底的時候,不斷降低learning rate,這樣我們就可以盡可能地逼近谷底.同時又能比較快速下降.想想還是蠻激動的.

2.訓練停止的時機

2.1 early-stoping

很合理的想法就是在梯度下降過程中,validation accuracy沒法提升的時候,就沒有必要再訓練下去了.
這種思路合理嗎?接下來一倆個迭代沒有提升,是不是意味著以后都不會有提升?
正確的做法是，在訓練的過程中，記錄最佳的validation accuracy，當連續10次epoch（或者更多次）沒達到最佳accuracy時，你可以認為“不再提高”.這個策略就叫“no-improvement-in-n”，n即epoch的次數，可以根據實際情況取10、20、30…
畢竟我們的認知是有限的,而未知的世界是無限的,我們只能竭盡我們的視力去瞭望遠方,做出判斷.

2.2 谷底策略

結合1.3的動態learning rate和2.1的eraly-stoping,我們在可以構造一個自動的策略,而無需人工干預.
假如對于“no-improvement-in-n”我們設置n=10,在跑了十次之后,validation accuracy還是沒有提升,這個時候我們把learning-rate砍掉一半,繼續執行,這個思路類似于我們learning rate過大,導致邁過了谷底,在倆個山峰之間震蕩,我們通過縮小learning-rate來期望繼續往底部走.而當learning-rate變成了原來的1/1024或者1/512我們再進行真正的stop.

3.MIni-batch size的選擇

size的選擇過大過小都是有不足之處
size過大,權重的更新就不會很頻繁.導致優化過程漫長
size過小,則無法充分利用矩陣、線性代數庫來進行計算的加速,同時小批量的樣本數據無法準確體現出整體的cost平均值,容易出現偏離.
整體來看應該根據數據集的規模,硬件能力來選擇.這么說還是有點廣泛,有一種做法是通過橫軸為time,縱軸為 validation accuracy,然后通過多個圖,不同圖的batch-size不一樣來,來觀測比較哪個batch-size在同樣時間上準確率抬升最快.這里的time說的是計算機的運算時間開銷,而不是迭代次數.

4.例子實踐

4.1 learning rate

我們通過x軸表示epoch的次數,y軸表示cost
在上個例子代碼的基礎上我們進行可視化觀測
主要思路就是在迭代的過程中,記錄下來對應的cost,然后圖形化顯示.
具體代碼

4.2 mini-batch size

我們通過x軸表示時間開銷,y軸表示準確率

4.3 谷底策略

Refer:
機器學習算法中如何選取超參數：學習速率、正則項系數、minibatch size
【Tensorflow】輔助工具篇——matplotlib介紹（上）
【Tensorflow】輔助工具篇——matplotlib介紹（下）