Softmax
我們令 %5ET%20%5Cin%20%5Cmathbb%7BR%7D%5Ek)
, 定義 softmax 函數為
%20%3D%20%5Cfrac%7Be%5E%7Bz_j%7D%7D%7B%5Csum_%7Bi%3D1%7D%5Em%20e%5E%7Bz_i%7D%7D)
這樣，%20%3D%20(h_1(z)%2C%20%5Ccdots%2C%20h_k(z))%5ET)
Softmax Regression 算法是 Logistic Regression 算法在多分類上的推廣，下面考慮 
分類問題。假設我們有 
個樣本 %5C%7D_i%5Em)
, 令 %5ET)
, %5ET)
, 其中 
。將 
使用 one-hot 編碼形式，仍然記作 , (比如 
便可將 改寫為一個 維列向量，該列向量中的除了位置 
處的元素為 
外，其余元素均為 
). 這樣 
, %5ET%20%5Cin%20%5Cmathbb%7BR%7D%5E%7Bm%20%5Ctimes%20k%7D)
存在仿射映射 
, 滿足 %20%3D%20Wx%20%2B%20b)
. 其中 
. 對于 
中的 個樣本，我們可以定義其樣本估計所屬類別的條件概率為 (
)
%20%3D%20h_j(z_i))
其中，)
. 令 %2C%20%5Ccdots%2C%20h(z_m))%5ET)
根據極大似然估計算法，可定義 Softmax Regression 的損失函數 (交叉熵) 為
%20%26%3D%20-%20%5Cfrac%7B1%7D%7Bm%7D%20%5Cdisplaystyle%20%5Csum_%7Bi%3D1%7D%5Em%20%5Csum_%7Bj%3D1%7D%5Ek%20(y_i)_j%20%5Clog(h_j(z_i))%20%5C%5C%20%26%3D%20-%20%5Cfrac%7B1%7D%7Bm%7D%20%5Cmathbf%7B1%7D_m%5ET%20%5Ccdot%20(Y%20%5Codot%20%5Clog(H))%20%5Ccdot%20%5Cmathbf%7B1%7D_n%20%5Cend%7Baligned%7D)
其中 _j)
表示 的第 個元素，
表示長度為 的全一列向量。)
指的是對 
中的每個元素求 
的操作。
最后編輯于 ：
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發(fā)布，文章內容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務。
