概念：

Example: playing checkers.

E = the experience of playing many games of checkers

T = the task of playing checkers.

P = the probability that the program will win the next game.

線性回歸：

• 損失函數：

  
  
  損失函數.png

• 梯度下降：

梯度下降.png

梯度下降求導.png

多維線性回歸：

• 基礎

  
  
  多維線性方程.png
  
  
  轉矩陣運算.png

• 損失函數

同二維線性回歸

• 梯度下降

多維梯度下降.png

In other words.png

其中，阿爾法即梯度下降步長。

需要合理取值，如果太小，收斂較慢；如果太大，可能無法收斂。

特征縮放

feature scaling.png

u : x平均值
s ：max - min

示例

上述示例類型的特征縮放尤為重要

正規方程法

求解公式.png

通過矩陣運算，直接求解。
相對梯度下降法計算量大O(n3)。

其它方法

除梯度下降法和正規方程法，還有牛頓法、擬牛頓法、共軛梯度法等更簡便的方法。