姓名：尤學強? 學號：17101223374
轉載自：http://mp.weixin.qq.com/s/DbAagAvzwy8iNYzeA1A8RA
【嵌牛導讀】：采用梯度下降法來對采用的算法進行訓練
【嵌牛鼻子】：函數，算法
【嵌牛提問】：怎樣才是最優算法？
【嵌牛正文】：
在應用機器學習算法時，我們通常采用梯度下降法來對采用的算法進行訓練。其實，常用的梯度下降法還具體包含有三種不同的形式，它們也各自有著不同的優缺點。
下面我們以線性回歸算法來對三種梯度下降法進行比較。
一般線性回歸函數的假設函數為：
對應的損失函數為：
（這里的1/2是為了后面求導計算方便）
下圖作為一個二維參數（theta0，theta1）組對應能量函數的可視化圖：
下面我們來分別講解三種梯度下降法
1
批量梯度下降法BGD
我們的目的是要誤差函數盡可能的小，即求解weights使誤差函數盡可能小。首先，我們隨機初始化weigths，然后不斷反復的更新weights使得誤差函數減小，直到滿足要求時停止。這里更新算法我們選擇梯度下降算法，利用初始化的weights并且反復更新weights：
這里代表學習率，表示每次向著J最陡峭的方向邁步的大小。為了更新weights，我們需要求出函數J的偏導數。首先當我們只有一個數據點（x,y）的時候，J的偏導數是：
則對所有數據點，上述損失函數的偏導（累和）為：
再最小化損失函數的過程中，需要不斷反復的更新weights使得誤差函數減小，更新過程如下：
那么好了，每次參數更新的偽代碼如下：
由上圖更新公式我們就可以看到，我們每一次的參數更新都用到了所有的訓練數據（比如有m個，就用到了m個），如果訓練數據非常多的話，是非常耗時的。
下面給出批梯度下降的收斂圖：
從圖中，我們可以得到BGD迭代的次數相對較少。
2
隨機梯度下降法SGD
由于批梯度下降每跟新一個參數的時候，要用到所有的樣本數，所以訓練速度會隨著樣本數量的增加而變得非常緩慢。隨機梯度下降正是為了解決這個辦法而提出的。它是利用每個樣本的損失函數對θ求偏導得到對應的梯度，來更新θ：
更新過程如下：
隨機梯度下降是通過每個樣本來迭代更新一次，對比上面的批量梯度下降，迭代一次需要用到所有訓練樣本（往往如今真實問題訓練數據都是非常巨大），一次迭代不可能最優，如果迭代10次的話就需要遍歷訓練樣本10次。
但是，SGD伴隨的一個問題是噪音較BGD要多，使得SGD并不是每次迭代都向著整體最優化方向。
隨機梯度下降收斂圖如下：
我們可以從圖中看出SGD迭代的次數較多，在解空間的搜索過程看起來很盲目。但是大體上是往著最優值方向移動。
3
min-batch 小批量梯度下降法MBGD
我們從上面兩種梯度下降法可以看出，其各自均有優缺點，那么能不能在兩種方法的性能之間取得一個折衷呢？既算法的訓練過程比較快，而且也要保證最終參數訓練的準確率，而這正是小批量梯度下降法（Mini-batch Gradient Descent，簡稱MBGD）的初衷。
我們假設每次更新參數的時候用到的樣本數為10個（不同的任務完全不同，這里舉一個例子而已）
更新偽代碼如下：
4
實例以及代碼詳解
這里參考他人博客，創建了一個數據，如下圖所示：
待訓練數據A、B為自變量，C為因變量。
