最近在做關于數據的一些東西，就是研究游戲在線人數的變換曲線，看了梯度下降。
　　梯度下降的介紹百度一下說的都很好，我也是百度學習的 可以@refer 這篇 http://blog.csdn.net/woxincd/article/details/7040944。
　　我的理解就是先隨意找一個點，然后求出這個點在各個方向的切線，順著這個方向認為是下降最快的方向，然后根據步長（自己設定的一個值，這里是0.1）調節走的速度。最終找到極值。關鍵在于迭代，關于迭代，牛頓方法的迭代會更迅速。

下面是我用php寫的一個小demo。

預期多元一次方程是 ax1 + bx2 = y ， 給定了N組 x 和對應y的值 ，求 a b 分別是多少。
先轉換成求極值 => 誤差最小。

$dataset = [[1,4],[2,5],[5,1],[4,2]]; //初始的三組x（每組x包括x1 x2）
$dataret = [19,26, 19, 20]; // 對應三組x 的y 值
$expect  = [10, 10]; //隨意找到的開始點 這里是指 預測 a = 10 b = 10
$step  = 0.001; //步長
$times = 1000000;

/*
 *梯度下降 * 
 * @auther menmei
 * @date 2017/03/24
 *
 */
/*
 * 梯度下降求多元一次方程的多元參數
 *
 *
 * @param 原始數據 Array
 * @param 原始數據結果 Array
 * @param 初始參數 Arrayθ
 * @param 步長 double
 * @param 循環次數 int
 *
 * @return 參數數組 Arrayθ
 *
 */
function gradientDescent($dataset, $dataret, $expect, $step, $times){
    //check given params
    $setTotal    = count($dataset);
    $paramsTotal = count($dataset[0]);
    if($setTotal < 2 || (count($expect) != $paramsTotal) || count($dataret) != $setTotal )  return False;
    //$deviation = array_fill(0, $paramsTotal, 0);
    for($i = 0; $i < $times; $i ++){
        $h = 0;
        $index = $i % $setTotal;
        for($j = 0; $j < $paramsTotal; $j ++){
            $h += ($expect[$j] * $dataset[$index][$j]);
        }

        $error = $h - $dataret[$index];
        for($k = 0; $k < $paramsTotal; $k ++){
            //這里是關鍵 這里 $error * $dataset[$index][$k] 是J(θ) 按梯度方向減少的量
            //是對J(θ) 求偏導得到的 => 按梯度每個方向的斜率 *  步長
            $expect[$k] -= $step * $error * $dataset[$index][$k];
        }

        //calculate new deviation
        $deviation = 0 ;
        for($l = 0; $l < $setTotal; $l ++){
            $h = 0;
            for($m = 0; $m < $paramsTotal; $m ++){
                $h += ($expect[$m] * $dataset[$l][$m]);
            }
            $deviation += ($h - $dataret[$l]) * ($h - $dataret[$l]);
        }
        if($deviation < 0.001) break;
    }
    echo "誤差是{$deviation}";
    return $expect;
}

/***************** EXAMPLE ******************/
//sample 1
//這里步長設置成 0.1 就會越過最低點 然后繼續向上。所以步長選擇很 ！重 ！要 ！
$dataset = [[1,4],[2,5],[5,1],[4,2]];
$dataret = [19,26, 19, 20];
$expect  = [10, 10];
$step  = 0.001;
$times = 1000000;

//sample 2
$dataset = [[1, 1, 2], [1, 2, 3], [1, 2, 5], [1, 8, 3], [1, 4, 7]];
$dataret = [13, 19, 27, 31, 39];
$expect = [0, 0, 0];

//sample 3
$dataset = [[1, 2], [2, 3], [2, 5], [8, 3], [4, 7]];
$dataret = [1, 4, 0, 34, 6];
$expect = [0,0];
$ret = gradientDescent($dataset, $dataret, $expect, $step, $times);
var_dump($ret);