0x00 目標
簡單線性回歸：回顧簡單線性回歸及最小二乘法的數據推導
實踐：簡單線性回歸實現及向量化應用
多元線性回歸：多選線性回歸和正規方程解及實現
0x01 簡單線性回歸（回顧 第二篇0x04）
0x02?多元線性回歸
求解思路也與簡單線性回歸非常一致，目標同樣是：已知訓練數據樣本x、y ，找到θ，使公式：
?盡可能小。
改寫成向量點乘形式：
向量化，已知訓練數據樣本x、y ，找到θ，使公式：
?盡可能小。
得多元線性回歸的正規方程解：
缺點是時間復雜度較高：O(n^3)。
0x02 python實現多元回歸
注意點：
1、np.hstack(tup)：參數tup可以是元組，列表，或者numpy數組，返回結果為numpy的數組。按列順序把數組給堆疊起來（加一個新列）。
2、np.ones()：返回一個全1的n維數組，有三個參數：shape（用來指定返回數組的大小）、dtype（數組元素的類型）、order（是否以內存中的C或Fortran連續（行或列）順序存儲多維數據）。后兩個參數都是可選的，一般只需設定第一個參數。（類似的還有np.zeros()返回一個全0數組）
3、numpy.linalg模塊包含線性代數的函數。使用這個模塊，可以計算逆矩陣、求特征值、解線性方程組以及求解行列式等。inv函數計算逆矩陣
4、T：array的方法，對矩陣進行轉置。
5、dot：點乘
0x03 小結
多元線性回歸的正規方程解，看上去簡單但是時間復雜度高。其實除了使用正規方程解以外，還可以使用大名鼎鼎的梯度下降法。梯度下降法不僅可以解決線性問題，更是解決機器學習的最優模型的通用算法。
0x04?梯度下降法
4.1 梯度下降(Gradient Descent, GD)
每個模型都有自己的損失函數，不管是監督式學習還是非監督式學習。在學習簡單線性回歸時，我們使用最小二乘法來求損失函數的最小值，但是這只是一個特例。在絕大多數的情況下，損失函數是很復雜的（比如邏輯回歸），根本無法得到參數估計值的表達式。因此需要一種對大多數函數都適用的方法。這就引出了“梯度算法”。
梯度下降(Gradient Descent, GD)，不是一個機器學習算法，而是一種基于搜索的最優化方法。梯度下降優化算法，其作用是用來對原始模型的損失函數進行優化，以便尋找到最優的參數，使得損失函數的值最小。從損失值出發，去更新參數，且要大幅降低計算次數。
4.2 梯度（gradient）
梯度下降算法作為一個聰明很多的算法，抓住了參數與損失值之間的導數，也就是能夠計算梯度（gradient），通過導數告訴我們此時此刻某參數應該朝什么方向，以怎樣的速度運動，能安全高效降低損失值，朝最小損失值靠攏。
多元函數的導數(derivative)就是梯度(gradient)，分別對每個變量進行微分，然后用逗號分割開，梯度是用括號包括起來，說明梯度其實一個向量，損失函數L的梯度為：
導數就是變化率。
梯度是向量，和參數維度一樣。
在單變量的函數中，梯度其實就是函數的微分，代表著函數在某個給定點的切線的斜率 在多變量函數中，梯度是一個向量，向量有方向，梯度的方向就指出了函數在給定點的上升最快的方向
梯度指向誤差值增加最快的方向，導數為0（梯度為0向量）的點，就是優化問題的解。
4.3 致命問題
從理論上，梯度算法只能保證達到局部最低點，而非全局最低點。
解決方案：首先隨機產生多個初始參數集，即多組；然后分別對每個初始參數集使用梯度下降法，直到函數值收斂于某個值；最后從這些值中找出最小值，這個找到的最小值被當作函數的最小值。
4.4 Python實現梯度下降
4.4.1 Scipy庫中的derivative方法
scipy.misc.derivative(func, x0, dx=1.0, n=1, args=(), order=3)[source]
參數：
func：需要求導的函數，只寫參數名即可，不要寫括號，否則會報錯
x0：要求導的那個點，float類型
dx（可選）：間距，應該是一個很小的數，float類型
n（可選）：n階導數。默認值為1，int類型
args（可選）：參數元組
order（可選）：使用的點數必須是奇數，int類型
4.4.2 Sympy表達式求導
sympy是符號化運算庫，能夠實現表達式的求導。
"""
import sympy as sy
x = sy.Symbol('x')
"""
博客https://www.cnblogs.com/zyg123/ 中有更多關于Sympy的相關文章。
4.4.3 模擬實現梯度下降
1.構造一個損失函數loss(x)，并求出對應的損失函數值。
2.定義一個求導的方法。（計算損失函數在當前點的對應導數，輸入當前數據點theta，輸出在損失函數上的導數）
3.進行梯度下降。（首先定義一個點θ作為初始值，正常應該是隨機的點，但是這里可先直接定為0。然后需要定義學習率η?，也就是每次下降的步長。這樣的話，點θ每次沿著梯度的反方向移動η距離，即θ=θ-η*▽f?，然后循環這一下降過程。設定一個非常小的數作為損失函數值的閾值，結束循環。）
0x05 梯度下降之前需要使用歸一化
5.1 目標
5.2 推導過程
用梯度下降法來求損失函數最小值時，需要對損失函數進行設計。
θ=(θ0,,θ1,θ2...,θn)列向量，構造第0個特征X0恒等于1，改寫成向量點乘形式：
對其求導，有：
寫成向量：
5.3 最終得到的梯度
參考閱讀：
1.模型之母：簡單線性回歸&最小二乘法（第二周：評價模型的好壞（20191111-17)：0x04簡單線性回歸）
2.模型之母：簡單線性回歸的代碼實現（第二周：評價模型的好壞（20191111-17)：0x04簡單線性回歸）
4.《機器學習》周志華著，第3章 線性模型(P53)
5.《精通數據科學：從線性回歸到深度學習》第四章
8.線性回歸中的梯度下降(代碼有些bug仍需調試)
代碼另附。
