有人問SVM可以退化成Logistic么，我覺得說退化不如說可以轉(zhuǎn)換成Logistic形式么，或者說，也可以出輸出一個概率值來估計其分類更傾向哪一類別。

基礎(chǔ)知識：

1.1 sigmoid函數(shù)

sigmoid函數(shù)是一個良好的閾值函數(shù)，連續(xù)，光滑，嚴格單調(diào)。

可以將實軸上的數(shù)值投射到[0,1]上，即將一個輸出實值抓化為一個概率值。比如一個分類器的分界線為0，大于0標為+1，小于0標為-1；如果使用上圖的sigmoid函數(shù)套一下輸出值。我們就可以說，輸出為0時標為+1的概率為0.5；輸出為2時標為+1的概率為0.8等。

這里定義SVM的輸出（非閾值化的）：

SVM非閾值化的輸出

其中

對偶形式后的一問分

用后驗概率 P(y=1|f) 替代類別條件密度 p(f|y)，采用Sigmoid的參數(shù)化形式表達。

模型有兩個參數(shù)A和B，采用最大似然估計訓練，定義新的訓練集合，其中ti為目標概率：

新的訓練集合

重新定義標簽，即SVM二分類為（-1，+1），轉(zhuǎn)換為（0，+1）

最小化訓練數(shù)據(jù)的Negative Log Likelihood，目標函數(shù)為cross-entropy error function：

對似然函數(shù)取對數(shù)，并加負號取最小值，即對數(shù)損失函數(shù)

其中

http://blog.csdn.net/iichangle/article/details/46817999 ? （贊）

http://blog.csdn.net/giskun/article/details/49329095 ? （贊）