一.Logistic函數
Logistic函數的表示形式如下：
它的函數圖像如下，由于函數圖像很像一個“S”型，所以該函數又叫 sigmoid 函數。
滿足的性質：
1.對稱性，關于(0,0.5)中心對稱
2.邏輯斯諦方程即微分方程
最早logistic函數是皮埃爾·弗朗索瓦·韋呂勒在1844或1845年在研究它與人口增長的關系時命名的。廣義Logistic曲線可以模仿一些情況人口增長（P）的 S 形曲線。起初階段大致是指數增長；然后隨著開始變得飽和，增加變慢；最后，達到成熟時增加停止。
當一個物種遷入到一個新生態系統中后，其數量會發生變化。假設該物種的起始數量小于環境的最大容納量，則數量會增長。該物種在此生態系統中有天敵、食物、空間等資源也不足（非理想環境），則增長函數滿足邏輯斯諦方程，圖像呈S形，此方程是描述在資源有限的條件下種群增長規律的一個最佳數學模型。在以下內容中將具體介紹邏輯斯諦方程的原理、生態學意義及其應用。
二.Logistic Regression(邏輯斯蒂回歸)
Logistic regression （邏輯回歸）是當前業界比較常用的機器學習方法，用于估計某種事物的可能性。之前在經典之作《數學之美》中也看到了它用于廣告預測，也就是根據某廣告被用戶點擊的可能性，把最可能被用戶點擊的廣告擺在用戶能看到的地方，然后叫他“你點我啊！”用戶點了，你就有錢收了。這就是為什么我們的電腦現在廣告泛濫的原因了。
還有類似的某用戶購買某商品的可能性，某病人患有某種疾病的可能性啊等等。這個世界是隨機的（當然了，人為的確定性系統除外，但也有可能有噪聲或產生錯誤的結果，只是這個錯誤發生的可能性太小了，小到千萬年不遇，小到忽略不計而已），所以萬物的發生都可以用可能性或者幾率（Odds）來表達。“幾率”指的是某事物發生的可能性與不發生的可能性的比值。
Logistic regression可以用來回歸，也可以用來分類，主要是二分類。它不像SVM直接給出一個分類的結果，Logistic Regression給出的是這個樣本屬于正類或者負類的可能性是多少，當然在多分類的系統中給出的是屬于不同類別的可能性，進而通過可能性來分類。
假設我們的樣本是{x, y}，y是0或者1，表示正類或者負類，x是我們的m維的樣本特征向量。那么這個樣本x屬于正類，也就是y=1的“概率”可以通過下面的邏輯函數來表示：
這里的θ是模型參數，也就是回歸系數，σ是sigmoid函數。這樣y=0的“概率”就是：
考查邏輯斯蒂回歸模型的特點，一個事件的幾率（oods）是指這件事發生的概率與不發生概率的比值，如果事件發生的概率是p，那么該事件的幾率是p/(1-p)，該事件的對數幾率(log odds)或者logit函數是
對于邏輯斯蒂回歸而言，可以得到如下的對數幾率
這就是說，在邏輯斯蒂回歸模型中，輸出y=1的對數幾率是輸入x的線性函數，或者說，輸出y=1的對數幾率是由輸入x的線性函數表示的模型，即邏輯斯蒂回歸模型。換句話說，y就是我們的關系變量，例如她喜不喜歡你，與多個因素有關，比如你的人品，你的長相，你是否有錢等。我們把這些因素表示成變量x1, x2,…, xm，那么這個女生是怎么考慮這些因素的呢，每個人心理其實都有一桿秤，例如有人比較看重你的人品，人品的權重是0.8,；也有人比較看重你有錢，有錢的權重設置成0.7等等。我們把這些對應于x1, x2,…, xm的權值叫做回歸系數，表達為θ1, θ2,…, θm。他們的加權和就是你在心目中的得分。
三.模型參數學習
在參數學習時，可以用極大似然估計方法求解。假設我們有n個獨立的訓練樣本{(x1, y1) ,(x2, y2),…, (xn, yn)}，y={0, 1}。那每一個觀察到的樣本(xi, yi)出現的概率是
對于整個樣本集，每個樣本的出現都是獨立的，n個樣本出現的似然函數為（n個樣本的出現概率是他們各自的概率乘積）
那么上述的似然函數就是模型的代價函數（cost function），我們要求的參數就是θ*。我們稍微對上式進行轉換
對L(θ)的極大值，得到θ的估計值。問題變成了以對數似然函數為木匾函數的最優化問題。用L(θ)對θ求導，得到
無法解析求解的，所以一般使用迭代的方法求解，通常采用梯度下降法和擬牛頓法。
四.多項邏輯斯蒂回歸
上面介紹的是兒分類的模型，用于二類分類。可以將其推廣為多項邏輯斯蒂回歸模型（multi-nominal regression model），用于多分類，假設離散隨機變量Y的取值是{1,2,3,...,K}那么多項邏輯斯蒂回歸的模型是
同理，二項邏輯斯蒂回歸的參數估計的方法也可以推廣到多項邏輯斯蒂回歸。
參考資料：
[1].機器學習算法與Python實踐之（七）邏輯回歸（Logistic Regression）
[2].《統計學習方法》 李航 著
