鏈接:
1. 線性回歸總結
2. 正則化
3. 邏輯回歸
4. Boosting
5. Adaboost算法
線性回歸是通過擬合來達到目的，而邏輯回歸呢側重的是探尋概率，它不去尋找擬合的超平面，而是去尋找某個數據的類別歸屬問題。
一. 預測函數
Sigmoid函數
怎么去預測？我們知道Sigmoid函數是如上這樣的，它的表現是：將數據歸納在0-1之間，那么我們能不能通過去計算出的結果去擬合這樣一個概率，使之成為一種分類的依據？答案是肯定的。凡事的概率都在0和1之間，擬合了概率，就是擬合了判定條件。
Paste_Image.png
二. 具體做法
我們知道線性回歸是這樣子的：
將Sigmoid函數加載到這個結果上，不就是將結果0-1概率化了么：
邏輯回歸表達式
所以是這樣子的：
回歸對比
三. 損失函數
這樣一來針對已有數據那就是0/1問題，要么概率為1的數據，要么概率為0的數據：
樣本評判
對于我們來說概率可以簡寫合并成：
取其似然函數：
我們要做的是在最大似然估計就是求使 L(θ )取最大值時的θ
對數函數
這里可以自己做主，我選用下面作為損失函數，要是最大似然估計最大，就要使J(θ)函數最小，通過不斷的優化θ使得J函數最小，進而L函數概率最大，完成任務。
損失函數
四. 求解過程
1. 梯度下降法：###
迭代函數
具體求解
2. 矩陣法：###
求解過程
最終公式
通過依次求解A，E, θ得到最終解。（A為線性回歸的θ*X）
參考：
邏輯回歸
邏輯回歸模型(Logistic Regression, LR)基礎 - 文賽平
機器學習—邏輯回歸理論簡介
