一、回歸分析的應用
1、股票分析
2、無人駕駛
3、推薦系統
回歸分析的應用
二、實例應用
評估pokemon（寶可夢）進化后的Combat Power（CP）
1、Step 1：Model（建立模型）
1）線性函數（模型）集，y = b + w * x
2）Linear-Model（線性模型）
3）x是輸入標量（可以多個，稱為feature），w是x的權重，b是函數的偏置，y是輸出標量
建立模型
2、Step 2：Goodness of Function（衡量模型）
1）Training Data（訓練數據），10個寶可夢的原始CP值和進化后的CP值，用來訓練模型
訓練數據
2）Loss Function（損失函數），模型的損失函數定義如下
寶可夢模型損失函數
衡量模型
b和w對Loss Function值的影響
3、Step 3：Best Function（找到最好的函數）
把所有Training Data里面的x代入w和b決定的函數式，計算Loss Function的值，找到使得Loss Function輸出最小的那個函數就是最好的函數
如何找到最好的函數
4、Step 3：Gradient Desent（梯度下降）
1）考慮一個參數w的情況，隨機選取一個初始的值w0
2）計算w = w0時，w對L的導數
a、如果w對L的導數小于0，即切線斜率小于0，則增加w的值
b、如果w對L的導數大于0，即切線斜率大于0，則減少w的值
梯度下降對參數增加或減少的指引
3）Learning Rate（學習率），記作η
a、w參數更新幅度取決于η和w = w0時，w對y的導數值
b、η比較大，則參數w更新的速度較快，學習的速度較快，反之亦然。學習率就是這么來的
4）經過一定量的w更新，L會處于一個局部比較低的位置，而且不能繼續更新，因為w對y的導數在此處等于0
w參數更新L的變化
5）兩個參數以上的情況
a、隨機選取兩個初始值，w0和b0
b、計算w = w0時，w對L的導數；計算b = b0時，b對L的導數
c、分別根據學習率η更新w和b
d、重復b和c步驟
多個參數的梯度下降過程
6）梯度下降視圖化過程
梯度下降視圖化
7）最終定義
w對L和b對L的導數計算
5、結果
a、計算模型計算和訓練數據的總誤差
訓練數據總誤差
b、計算模型計算和Testing Data（測試數據）的總誤差
測試數據總誤差
