1.幾個標(biāo)記方法：
神經(jīng)網(wǎng)絡(luò)總的層數(shù)L；
第l層的單元數(shù)Sl（不包括偏差單元）；
輸出層的單元數(shù)K。
①對于兩類分類問題
y=0或1，只有一個輸出單元，hΘ(x)∈R，故SL=1，即K=1。
②對于多類分類問題
y是一個向量，y∈RK，hΘ(x)∈RK，SL=K(K?3)。
2.邏輯回歸的代價函數(shù)
3.神經(jīng)網(wǎng)絡(luò)的代價函數(shù)（多類分類問題）
該式子的含義（個人現(xiàn)階段理解），共有k個分類，所以對于每一行數(shù)據(jù)，h(x(i))是一個k維的向量（有個輸出結(jié)果），Σk 即將每一個結(jié)果的代價求和，再將m行數(shù)據(jù)的代價求和，得出總的代價。正則化的式子：每一層有l(wèi)個單元，對應(yīng)每層的theta是一個S(l+1)*S(L)的矩陣
4.反向傳播算法
先通過一個例子來看：
即前向傳播是通過ai求得zi+1,反向傳播是通過δi+1求得δi，系數(shù)都是Θij，其中j是前一層對應(yīng)的單元，i是后一層對應(yīng)的單元
代價函數(shù)：
image.png
誤差計算方法：
而代價函數(shù)的偏導(dǎo)數(shù)為
算法：
