- softmax 回歸
針對(duì)邏輯回歸，我們只有（0，1）這兩個(gè)選項(xiàng)，但是在現(xiàn)實(shí)世界中，我們的預(yù)測(cè)結(jié)果可能會(huì)有多種。
比如，預(yù)測(cè)圖片中的動(dòng)物（可能是貓，狗，小雞，考拉等）。
以下面的圖片為例，我們可以看到我們將結(jié)果分為4類
C = number of classes = 4? (0,...,3)
我們看神經(jīng)網(wǎng)絡(luò)的最后一層，他有四個(gè)圓圈，也就意味著他有4個(gè)結(jié)果。
P(Other|x) : 在給定X的前提下，Other的概率。
P(Cat|x) : 在給定X的前提下，Cat的概率。
P(Dog|x) : 在給定X的前提下，Dog的概率。
P(Chick|x) : 在給定X的前提下，Chick的概率。
這四個(gè)概率相加 =1
P(Othe|x) + P(Cat|x) + P(Dog|x)+P(Chick|x)=1
我們?cè)賮砜催@張深度學(xué)習(xí)的圖。
也就是因?yàn)閟oftmax回歸，我們需要將Z[l]變化未總和為“1”的概率，因此我們有以下幾步操作：
1. 將Z[l]上面的值全部加上e指數(shù)。
2. 求得每個(gè)圓圈的數(shù)字，然后除以這四個(gè)指數(shù)的和。（可以看出，這四個(gè)概率的總和一定是1）
3. 這樣每個(gè)數(shù)字的概率，就是啦。
我們來形象的了解下softmax回歸
如果softmax回歸，的classer是2，它就變成了邏輯回歸。
我們來看看softmax的cost function
以上兩個(gè)矩陣y的第二行是1，表明他是Cat，但是y_hat的概率是0.2，就說明這個(gè)模型建立的不夠好。
那么，我們?nèi)绾斡?jì)算他們的cost function呢？
可以看出，矩陣y只有一個(gè)1，其他都是0.
下面，我們考慮有m個(gè)訓(xùn)練樣本集的情況。
這里要說明的是，由于softmax回歸，出現(xiàn)的是一個(gè)（4，1）的矩陣，因此當(dāng)有m個(gè)訓(xùn)練樣本是，他的返回值，也是（4，m）的矩陣。
可以看到，矩陣的每一列，就是一個(gè)y 或者y_hat的值。
