參考鏈接：https://datawhalechina.github.io/unusual-deep-learning/
一、前言
循環神經網絡（Recurrent Neural Network, RNN）是一類以序列（sequence）數據為輸入，在序列的演進方向進行遞歸（recursion）且所有節點（循環單元）按鏈式連接的遞歸神經網絡（recursive neural network）。
主要應用于以下場景：
文本：字母和詞匯的序列；
語音：音節的序列；
視頻：圖像幀的序列；
時態數據：氣象觀測數據，股票交易數據、房價數據等。
二、長短時記憶網絡（LSTM）
LSTM于1997年被Sepp Hochreiter 和Ju?rgen Schmidhuber提出來，它是一種用于深度學習領域的人工循環神經網絡結構。其中，一個LSTM單元由輸入門、輸出門和遺忘門組成，三個門控制信息進出單元。
特點：
- 1、LSTM依靠貫穿隱藏層的細胞狀態實現隱藏單元之間的信息傳遞，其中只有少量的線性操作；
- 2、LSTM引入了“門”機制對細胞狀態信息進行添加或刪除，由此實現長程記憶；
- 3、“門”機制由一個Sigmoid激活函數層和一個向量點乘操作組成，Sigmoid層的輸出控制了信息傳遞的比例。
輸入門
LSTM通過輸入門(input gate)實現對細胞狀態輸入接收程度的控制，輸出當前輸入信息的接受權重。
輸出門
LSTM通過輸出門(output gate)實現對細胞狀態輸出認可程度的控制，輸出當前輸出信息的認可權重。
遺忘門
LSTM通過遺忘門(forget gate)實現對細胞狀態信息遺忘程度的控制，輸出當前狀態的遺忘權重。
狀態更新
“門”機制對細胞狀態信息進行添加或刪除，由此實現長程記憶。
三、其他循環神經網絡
3.1 Gated Recurrent Unit(GRU)
Gated Recurrent Unit (GRU)，在2014年提出，它的細胞狀態與隱狀態合并，在計算當前時刻新信息的方法和LSTM有 所不同；GRU只包含重置門和更新門；在音樂建模與語音信號建模領域與LSTM具有相似的性能，但是參數更少，只有兩個門控。
3.2 Bi-directional RNN(雙向RNN)
假設當前t的輸出不僅僅和之前的序列有關，并且還與之后的序列有關，例如：完形填空，它由兩個RNNs上下疊加在一起組成，輸出由這兩個RNNs的隱藏層的狀態決定。
四、主要應用
1、語音模型：根據之前和當前詞預測下一個單詞或者字母。
2、自動作曲：試圖使用某個形式化的過程，以使人（或作曲家）在利用計算機進行音樂創作時的介入程度達到最小的研究。
五、總結
循環神經網絡與卷積神經網絡的主要區別在循環層上。卷積神經網絡沒有時序性的概念，輸入直接和輸出掛鉤；循環神經網絡具有時序性，當前決策跟前一次決策有關。
