1.幾個標記方法：
神經網絡總的層數L；
第l層的單元數Sl（不包括偏差單元）；
輸出層的單元數K。
①對于兩類分類問題
y=0或1，只有一個輸出單元，hΘ(x)∈R，故SL=1，即K=1。
②對于多類分類問題
y是一個向量，y∈RK，hΘ(x)∈RK，SL=K(K?3)。
2.邏輯回歸的代價函數
3.神經網絡的代價函數（多類分類問題）
該式子的含義（個人現階段理解），共有k個分類，所以對于每一行數據，h(x(i))是一個k維的向量（有個輸出結果），Σk 即將每一個結果的代價求和，再將m行數據的代價求和，得出總的代價。正則化的式子：每一層有l個單元，對應每層的theta是一個S(l+1)*S(L)的矩陣
4.反向傳播算法
先通過一個例子來看：
即前向傳播是通過ai求得zi+1,反向傳播是通過δi+1求得δi，系數都是Θij，其中j是前一層對應的單元，i是后一層對應的單元
代價函數：
image.png
誤差計算方法：
而代價函數的偏導數為
算法：
