BP算法：誤差反向傳播算法。通過(guò)比較輸出值與標(biāo)記值，將誤差反向由輸出層向輸入層傳播，利用梯度下降算法進(jìn)行參數(shù)調(diào)整。用于訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)。對(duì)網(wǎng)絡(luò)中所有權(quán)重計(jì)算損失函數(shù)的梯度，并將梯度反饋給最優(yōu)化方法以更新權(quán)值以最小化損失函數(shù)。
數(shù)學(xué)核心：微積分。用鏈?zhǔn)椒▌t對(duì)每層迭代計(jì)算梯度，要求激勵(lì)函數(shù)可微（如sigmoid）。
算法：在閾值調(diào)整過(guò)程中，當(dāng)前層的閾值梯度取決于下一層的閾值梯度；當(dāng)前層的連接權(quán)值梯度，取決于當(dāng)前層神經(jīng)元閾值梯度和上層神經(jīng)元輸出
算法
學(xué)習(xí)模式：在線、批量、隨機(jī)。在線和隨機(jī)學(xué)習(xí)在每次傳播后都立即更新權(quán)重。隨機(jī)和批量使用靜態(tài)型態(tài)的訓(xùn)練集合。隨機(jī)以隨機(jī)的順序經(jīng)過(guò)數(shù)據(jù)集合以減少局部極小值，速度比批量快。
限制：局部極小值、收斂慢且不保證收斂，無(wú)需輸入向量標(biāo)準(zhǔn)化
