1.損失函數(shù)
說(shuō)明：這里的閾值函數(shù)為二分輸出，即y輸出為1或者為0，在某些早期書籍中你可能會(huì)看到損失函數(shù)的公式為1/2(y'-y)^2,定義上來(lái)看確實(shí)沒(méi)問(wèn)題，但是我發(fā)現(xiàn)用他來(lái)進(jìn)行梯度下降，反向傳播的時(shí)候得到的函數(shù)將是一個(gè)非凸函數(shù)，有多個(gè)極值點(diǎn)，這是在計(jì)算中是很致命的，尤其是x的維度很大時(shí)，你的程序的時(shí)間復(fù)雜度會(huì)十分大；
另外推導(dǎo)過(guò)程用到概率論和線性代數(shù)，統(tǒng)計(jì)學(xué)中的相關(guān)知識(shí)，但不用擔(dān)心，我會(huì)給不是很了解的朋友寫出過(guò)程，當(dāng)然，如果的你的數(shù)學(xué)功底很扎實(shí)，請(qǐng)略過(guò)那一部分，現(xiàn)在，開始吧：
首先，定義y' = p(y = 1| x)
公式說(shuō)明：這里的x是訓(xùn)練數(shù)據(jù)中的某個(gè)特征值，他可以是單個(gè)數(shù)，也可以是向量，矩陣取決于你所要解決問(wèn)題所建立的模型，y = 1即閾值函數(shù)輸出為1，y'即對(duì)于x輸入，y為1的概率0 <= y' <=1;
為便于討論在這里我把x設(shè)為一個(gè)列向量，其他情況基本類似：
根據(jù)上文，我可以得到一個(gè)分段函數(shù)：
當(dāng) y = 1時(shí)：p(y|x) = y'
當(dāng)y = 0：p(y|x) = 1 - y'
在這里，我把兩種情況聯(lián)合可寫成p(y|x) = pow(y',y)pow(1 - y',1 - y)? ? ? 其中pow（x,y）為x的y次方
我的最終目的是讓p（y|x）的值為最大，這樣可以使得估計(jì)值和實(shí)際值得誤差最小，這也就是損失函數(shù)的書面意義，接下來(lái)的過(guò)程就用到數(shù)學(xué)里的萬(wàn)能大哥log了（許多推導(dǎo)過(guò)程都可以用他，因?yàn)樗菄?yán)格單調(diào)的，而且可以把多次化成一次形式），如下：
令G（x,y） = logp(x|y) = ylogy' + (1 - y)log(1 - y') 前面提到log嚴(yán)格單調(diào)，所以G越大P(x|y)越大，說(shuō)到這里有同學(xué)會(huì)問(wèn)了，損失函數(shù)不是越小越好么？別急，推導(dǎo)還沒(méi)完
在討論更加復(fù)雜的神經(jīng)網(wǎng)絡(luò)時(shí)，我們傾向于損失函數(shù)小越好，因?yàn)檫@在問(wèn)題的解決中會(huì)提供極大的便利，所以，怎么辦呢，加個(gè)負(fù)號(hào)就好啦！所以最終
? ? 損失函數(shù)：Lost（y,y'） = -G(x,y)
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? = -[ylogy' + (1-y)log(1-y')]
2.成本函數(shù)
先給出成本函數(shù)：J（θ） = 1/mΣLost(y,y')? 其中Σ上為m，下為0，m為訓(xùn)練的數(shù)據(jù)量大小文章，最后附件我會(huì)給出θ的推導(dǎo)過(guò)程，但現(xiàn)在這不影響證明
許多初學(xué)者錯(cuò)誤的認(rèn)為成本函數(shù)J（θ）的由來(lái)就是簡(jiǎn)單的對(duì)于損失函數(shù)求和取平均，確實(shí)他給的公式第一眼看過(guò)去就是取平均值（包括我自己剛學(xué)的時(shí)候也搞錯(cuò)了）但是仔細(xì)分析成本函數(shù)的定義，他的意義在于對(duì)應(yīng)給定的訓(xùn)練數(shù)據(jù){(x1,y1),(x2,y2) .......(xm，ym)}（再次強(qiáng)調(diào)，這里的x并不一定是一個(gè)實(shí)數(shù)，也可以是一個(gè)矩陣，向量等，取決于你建立的模型），我們要使得發(fā)生x1->y1,x2->y2.......xm->ym的概率達(dá)到一個(gè)最大值，如果簡(jiǎn)單的取平均完全不符合定義，聰明的的你肯定想到了，用極大似然函數(shù)！根據(jù)極大似然函數(shù)的定義：我得到
? ? L(θ) = P(x1|y1)P(x2|y2).....P(xm|ym) = ΠP(xi|yi)
萬(wàn)能的log再次出現(xiàn)了：
U = log(L(θ)) = ΣP(xi|yi),
同損失函數(shù)的原理，加上一個(gè)負(fù)號(hào)讓我們?cè)谇蟮脮r(shí)候求得最小值、
U = -U
在后續(xù)更加復(fù)雜的神經(jīng)網(wǎng)絡(luò)的討論中，U會(huì)顯得十分臃腫所以這里加上一個(gè)1/m進(jìn)行調(diào)節(jié)，這樣，我們使得他和損失函數(shù)在一個(gè)數(shù)量級(jí)，討論的時(shí)候也就更加方便，即：
J（θ） = 1/mΣLost(y,y')
附：關(guān)于θ的討論
學(xué)習(xí)閾值函數(shù)時(shí)，我們知道當(dāng)w'X >= b時(shí)可以定義輸出為1，
公式做適當(dāng)變換，w'X - b >= 0其中w'為w的轉(zhuǎn)置，在這里x為列向量，w也是，我們對(duì)于X向量進(jìn)行擴(kuò)充，加入x0 = 1元素，同時(shí)，w也擴(kuò)充，加入w0 = -b,這樣，設(shè)新的w為θ，得到.
θ'X = w'X - b,兩者雖然只是形勢(shì)不同，但在進(jìn)行后續(xù)更加復(fù)雜的討論時(shí)，只需要兩個(gè)向量進(jìn)行運(yùn)算，而不用考慮實(shí)數(shù)b，我相信會(huì)很好的簡(jiǎn)化問(wèn)題
