2018年，對于NLP領域來說是最讓人激動的一年。先后誕生的ELMo、GPT、BERT在預訓練語言模型方面的成功給NLP領域的研究帶來了新的姿勢。特別是BERT（Bidirectional Encoder Representations from Transformers），在11項自然語言任務上刷新了最好成績，同時BERT論文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》獲得NLP領域頂會NAACL 2019的最佳論文獎。

BERT拋棄了傳統的RNN和CNN，主要結構是多層Transformer，其中Self Attention機制將任意位置的兩個詞之間距離轉換成1，有效解決了長期依賴問題。

原論文中提到兩種不同規模的BERT：BERT_base 和BERT _large。其中，base版本有12個隱藏層，768個隱層單元，每個Attention有12個頭，參數量達到110M；large版本有24個隱藏層，1024個隱藏層，每個Attention有16個頭，參數量更是達到了340M。其網絡結構如下圖所示：

1.png

與之前的預訓練模型一樣，BERT也分兩個階段: pre-training和fine-tuning。

2.png

pre-training

BERT采用兩種無監督任務來做預訓練，一個是token-level的Masked Language Model，另一個是sentence-level的Next sentence Prediction。兩個任務同時進行，因此BERT的損失函數是兩者損失函數疊加。

1、Masked Language Model

在說MLM之前，我們需要意識到一個問題。語言模型如果使用雙向的，會出現數據泄露問題。也就是說，模型可以間接知道要預測的詞。這也是ELMo使用兩個獨立的雙向模型的原因。

MLM的提出正是為了解決這個問題，具體做法是隨機遮蔽輸入序列中15%的單詞作為訓練樣本：

• 80%用[MASK]代替；
• 10%用隨機詞代替；
• 10%保持不變；

這里只有15%的詞被遮蔽原因是性能開銷，雙向編碼器比單向編碼器訓練要慢。只選其中的80%做mask，是因為mask標記只存在于預訓練階段，在下游任務中輸入并沒有mask。10%用隨機詞，10%保持不變，原因是讓編碼器不知道哪些詞需要預測，哪些詞是錯誤的，因此被迫需要學習每一個詞的表示向量。

2、Next Sentence Prediction

預訓練一個二分類模型來學習句子之間的關系，預測下一個句子的方法對學習句子間關系很有幫助。具體做法：正樣本，給定句子A和B，其中B是A在實際語境中的下一句； 負樣本，句子B是語料庫中隨機選擇的。通過兩個特定的token [CLS]和[SEP]來串接兩個句子。 正負樣本各占一半。

3.png

輸入

BERT的輸入編碼向量(長度512)是由三個特征向量疊加的。

4.png

1、Input Embeddings

每個輸入序列的第一個token [CLS]專門用來分類，利用此位置的最后輸出作為分類任務的輸入embedding。在預訓練時，[CLS]不參與mask，因而該位置面向整個序列的所有position做attention，[CLS]位置的輸出足夠表達整個句子的信息，類似一個global feature。單詞token對應的embedding更關注該token的語義語法及上下文信息表達，類似一個local feature。

2、Position Embeddings

由于transformer無法獲得字的位置信息，BERT也加入了絕對位置編碼，但和transformer不同的是：transformer的位置編碼是通過sin和cos構造出來的，這里Position Embeddings直接采用類似word embedding的方式直接獲得位置編碼。

3、Segment Embeddings

在預訓練的句子對預測任務及問答、相似匹配等任務中，需要對前后句子做區分。將句對輸入同一序列，以特殊標記 [SEP] 分割，同時對第一個句子的每個token添加Sentence A Embedding；第二個句子添加Sentence B Embedding，實驗中讓E_A=1，E_B=0。

Fine-tune

5.png

針對不同任務，BERT采用不同部分的輸出做預測。由上圖可以知道，BERT有兩種輸出：Pooler output（對應[CLS]位置的輸出）和 Sequence output（對應的是序列中所有詞的最后一層hidden輸出）。

1、分類/回歸任務（利用Pooler output）

• Single sentence Classification tasks，例如：文本分類，我想聽音樂，分到音樂這個domain）；
• Sentence Pair Classification tasks，例如：自然語言推斷任務（NLI），給定前提，推斷假設是否成立；
• 回歸任務，回歸其實是分類的一種特殊形式，最后輸出的是一個數值而不是具體的某個類別概率；例如：文本相似度，可以判斷兩個句子是不是類似，得到的具體分數。

2、序列任務（利用Sequence output）

• 命名實體識別（NER）；
• 完形填空（Cloze task），其實這就是BERT預訓練的一種任務；
• SQuAD（Standford Question Answering Dataset）task，SQuAD任務輸入是D、Q，其實D是該篇文章，Q是問題，返回的結果是答案開始詞的位置s和結束詞的位置e；

Experiments

說了這么多，我們來看看當初霸榜的BERT與先前的模型對比成績到底如何:

6.png

最后

BERT采用Pre-training和Fine-tuning兩階段訓練任務，在Pre-training階段使用多層雙向transformer，并采用Masked LM 和 Next Sentence Prediction兩種訓練任務解決token-level和sentence-level問題，為下游任務提供了一個通用模型框架。

在NLP領域，BERT具有里程碑意義，對后續的研究產生了深遠影響。

但是我們站在當前時間點回頭看，BERT自身也存在一些缺點，后續文章中會介紹到BER的缺點和優化。

參考：

https://arxiv.org/abs/1810.04805

https://zhuanlan.zhihu.com/p/48612853