多層感知機（神經(jīng)網(wǎng)絡(luò)）
輸入層——隱藏層——輸出層
DNN“具有深度”
在語音識別中4層網(wǎng)絡(luò)就能夠被認為是“較深的”，而在圖像識別中20層以上的網(wǎng)絡(luò)屢見不鮮。
單從結(jié)構(gòu)上來說，全連接的DNN和多層感知機沒有任何區(qū)別
為了克服梯度消失，ReLu,maxout等傳輸函數(shù)代替了sigmoid，形成了如今DNN的基本形式
CNN卷積神經(jīng)網(wǎng)絡(luò)
解決DNN帶來的參數(shù)爆炸問題
限制參數(shù)個數(shù)，挖掘局部特征，防止過擬合
RNN循環(huán)神經(jīng)網(wǎng)絡(luò)
解決DNN無法對時間序列上的變化進行建模的問題
在RNN中，神經(jīng)元的輸出可以在下一個時間戳直接作為到自身
長短時記憶單元LSTM，通過們的開關(guān)實現(xiàn)時間上記憶功能，并防止梯度消失
