轉自微信公眾號：機器學習算法與Python學習
以及統計學習方法
Logistic回歸
邏輯回歸是用來分類的，是一種線性分類器，需要注意的地方有：
1. Logistic函數的表達式：
其導數形式為
2. logsitc回歸方法主要是用最大似然估計來學習的，所以單個樣本的后驗概率為：
到整個樣本的后驗概率：
其中：
可通過對數進一步簡化：
3. 其實它的loss function為-l(θ)，因此我們需使loss function最小，可采用梯度下降法得到。梯度下降法公式為:
Logistic回歸優點：
1、實現簡單；
2、分類時計算量非常小，速度很快，存儲資源低；
缺點：
1、容易欠擬合，一般準確度不太高
2、只能處理兩分類問題（在此基礎上衍生出來的softmax可以用于多分類），且必須線性可分；
也就是說在邏輯回歸模型中，輸出Y=1的對數幾率是關于x的線性函數
因此，可以推出
邏輯回歸是針對二分類模型的，下面推廣到多分類（我們暫時不管多分類）
最大熵模型
由最大熵原理推導實現。
最大熵原理是概率模型學習的一個準則，最大熵認為，學習概率模型時，在所有可能的分布中，熵最大的模型是最好的模型。
直觀地來講，最大熵原理認為要選擇的概率模型首先必須要滿足既有事實，即約束條件。在沒有更多信息的情況下，那些不確定的部分都是等可能的，最大熵原理通過熵的最大化來表示等可能性。
在滿足約束條件下求等可能概率方法估計概率分布。
最大熵原理定義：
假設分類模型是一個條件概率分布P（Y|X），可以認為是
的推導實現
學習目標是用最大熵原理選擇最好的分類模型
從最大熵模型學習中，可以看出對偶函數的極大化，等價于最大熵模型的極大似然估計。
算法：梯度下降和擬牛頓法
sgd
隨機梯度下降算法的偽代碼如下：
################################################
初始化回歸系數為1
重復下面步驟直到收斂{
對數據集中每個樣本
計算該樣本的梯度
使用alpha xgradient來更新回歸系數
}
