本文保存記錄一下如妹的文章，文章內容沒有很詳細，但大綱比較清晰，可以之后做參考用。公式因為復制不過來，就靠自己腦補吧（畢竟我可以腦補）。
大家好，我是在算法前沿旋轉跳躍的焦燥女青年rumor。
注：文末附上我總結的BERT面試點&相關模型匯總，還有NLP組隊學習群的加群方式～
自Attention機制提出后，加入attention的Seq2seq模型在各個任務上都有了提升，所以現在的seq2seq模型指的都是結合RNN和attention的模型。之后google又提出了解決Seq2Seq問題的Transformer模型，用全attention的結構代替了lstm，在翻譯任務上取得了更好的成績。本文主要介紹《Attention is all you need》這篇文章，自己在最初閱讀的時候還是有些不懂，希望可以在自己的解讀下讓大家更快地理解這個模型^ ^
Attention原理還不熟悉的可以看：
1. 模型結構
模型結構如下圖：
和大多數seq2seq模型一樣，transformer的結構也是由encoder和decoder組成。
1.1 Encoder
Encoder由N=6個相同的layer組成，layer指的就是上圖左側的單元，最左邊有個“Nx”，這里是x6個。每個Layer由兩個sub-layer組成，分別是multi-head self-attention mechanism和fully connected feed-forward network。其中每個sub-layer都加了residual connection和normalisation，因此可以將sub-layer的輸出表示為：
[圖片上傳失敗...(image-894747-1639466238876)]
接下來按順序解釋一下這兩個sub-layer：
- Multi-head self-attention
熟悉attention原理的童鞋都知道，attention可由以下形式表示：
[圖片上傳失敗...(image-c3a25b-1639466238876)]
multi-head attention則是通過h個不同的線性變換對Q，K，V進行投影，最后將不同的attention結果拼接起來：
[圖片上傳失敗...(image-a9bcf7-1639466238876)]
[圖片上傳失敗...(image-e9fb28-1639466238876)]
self-attention則是取Q，K，V相同。
另外，文章中attention的計算采用了scaled dot-product，即：
[圖片上傳失敗...(image-d2f0b4-1639466238876)]
作者同樣提到了另一種復雜度相似但計算方法additive attention，在 [圖片上傳失敗...(image-8da6f-1639466238876)]
很小的時候和dot-product結果相似，[圖片上傳失敗...(image-ff4a49-1639466238876)]
大的時候，如果不進行縮放則表現更好，但dot-product的計算速度更快，進行縮放后可減少影響（由于softmax使梯度過小，具體可見論文中的引用）。
- Position-wise feed-forward networks
這層主要是提供非線性變換。Attention輸出的維度是[bszseq_len, num_headshead_size]，第二個sub-layer是個全連接層，之所以是position-wise是因為過線性層時每個位置i的變換參數是一樣的。
1.2 Decoder
Decoder和Encoder的結構差不多，但是多了一個attention的sub-layer，這里先明確一下decoder的輸入輸出和解碼過程：
- 輸出：對應i位置的輸出詞的概率分布
- 輸入：encoder的輸出 & 對應i-1位置decoder的輸出。所以中間的attention不是self-attention，它的K，V來自encoder，Q來自上一位置decoder的輸出
- 解碼：這里要注意一下，訓練和預測是不一樣的。在訓練時，解碼是一次全部decode出來，用上一步的ground truth來預測（mask矩陣也會改動，讓解碼時看不到未來的token）；而預測時，因為沒有ground truth了，需要一個個預測。
文末附上我總結的BERT面試點&相關模型匯總，還有NLP組隊學習群的加群方式～明確了解碼過程之后最上面的圖就很好懂了，這里主要的不同就是新加的另外要說一下新加的attention多加了一個mask，因為訓練時的output都是ground truth，這樣可以確保預測第i個位置時不會接觸到未來的信息。
加了mask的attention原理如圖（另附multi-head attention）：
1.3 Positional Encoding
除了主要的Encoder和Decoder，還有數據預處理的部分。Transformer拋棄了RNN，而RNN最大的優點就是在時間序列上對數據的抽象，所以文章中作者提出兩種Positional Encoding的方法，將encoding后的數據與embedding數據求和，加入了相對位置信息。
這里作者提到了兩種方法：
- 用不同頻率的sine和cosine函數直接計算
- 學習出一份positional embedding（參考文獻）
經過實驗發現兩者的結果一樣，所以最后選擇了第一種方法，公式如下：
[圖片上傳失敗...(image-2ae582-1639466238876)]
[圖片上傳失敗...(image-92502e-1639466238876)]
作者提到，方法1的好處有兩點：
-
任意位置的 [圖片上傳失敗...(image-9f1317-1639466238876)]
都可以被 [圖片上傳失敗...(image-cdf88-1639466238876)]
的線性函數表示，三角函數特性復習下：
[圖片上傳失敗...(image-fed08a-1639466238876)]
[圖片上傳失敗...(image-fb393-1639466238876)]
2. 如果是學習到的positional embedding，（個人認為，沒看論文）會像詞向量一樣受限于詞典大小。也就是只能學習到“位置2對應的向量是(1,1,1,2)”這樣的表示。所以用三角公式明顯不受序列長度的限制，也就是可以對 比所遇到序列的更長的序列 進行表示。
2. 優點
作者主要講了以下三點：
- Total computational complexity per layer （每層計算復雜度）
2. Amount of computation that can be parallelized, as mesured by the minimum number of sequential operations required
作者用最小的序列化運算來測量可以被并行化的計算。也就是說對于某個序列[圖片上傳失敗...(image-1f1c8f-1639466238876)]
，self-attention可以直接計算 [圖片上傳失敗...(image-d3bc8f-1639466238876)]
的點乘結果，而rnn就必須按照順序從 [圖片上傳失敗...(image-291ee7-1639466238876)]
計算到 [圖片上傳失敗...(image-65519f-1639466238876)]
3. Path length between long-range dependencies in the network
這里Path length指的是要計算一個序列長度為n的信息要經過的路徑長度。cnn需要增加卷積層數來擴大視野，rnn需要從1到n逐個進行計算，而self-attention只需要一步矩陣計算就可以。所以也可以看出，self-attention可以比rnn更好地解決長時依賴問題。當然如果計算量太大，比如序列長度n>序列維度d這種情況，也可以用窗口限制self-attention的計算數量
4. 另外，從作者在附錄中給出的栗子可以看出，self-attention模型更可解釋，attention結果的分布表明了該模型學習到了一些語法和語義信息
3. 缺點
缺點在原文中沒有提到，是后來在Universal Transformers中指出的，在這里加一下吧，主要是兩點：
- 實踐上：有些rnn輕易可以解決的問題transformer沒做到，比如復制string，或者推理時碰到的sequence長度比訓練時更長（因為碰到了沒見過的position embedding）
- 理論上：transformers非computationally universal（圖靈完備），（我認為）因為無法實現“while”循環
4. 總結
Transformer是第一個用純attention搭建的模型，不僅計算速度更快，在翻譯任務上獲得了更好的結果，也為后續的BERT模型做了鋪墊。
歡迎初入NLP領域的小伙伴們加入rumor建立的「NLP卷王養成群」一起學習，添加微信「leerumorrr」備注知乎+NLP即可，群里的討論氛圍非常好～
肝了BERT的面試知識點和相關前沿模型，下面的鏈接可以直接下載～
BERT面試知識點+前沿模型整理mp.weixin.qq.com/s/nPVbgOBOPs5VjW6_U-Om3w
相關閱讀：
預訓練改進
BERT+生成式
BERT加速
用于特定任務的模型
