引言
自從Bert被提出來后，后續(xù)的研究者大多基于bert進行改造，提升預(yù)訓(xùn)練語言模型性能，從而提高下游任務(wù)的性能。比如ERINE、BERT_WWM、MASS、MT-DNN、RoBERT等等。從GLUE榜上我們可以看到，似乎現(xiàn)在的語言模型有越來越大的趨勢，雖然我們的訓(xùn)練資源也是從GPU單卡到GPU多卡，到現(xiàn)在TPU，但不是每個公司都這么有錢，特別對個人，有可能就是一塊卡，怎么樣在資源有限的情況下，玩起來這些高大上的模型了？我們知道bert的base版本12層，參數(shù)量接近110M，這樣大的模型在線上部署的時候效果是怎么樣的？下表是在linux環(huán)境下基于GTX 1080運行結(jié)果。
| 環(huán)境 | 序列長度 | 請求次數(shù) | 總時間(s) | 平均耗時(ms) |
|---|---|---|---|---|
| GPU+checkpoint | 128 | 10000 | 135.6 | 13.56 |
| GPU+checkpoint | 12 | 1000 | 10.3 | 10.3 |
| CPU+checkpoint | 128 | 1000 | 212 | 212 |
| CPU+checkpoint | 12 | 1000 | 83 | 83 |
| CPU+tfserving | 128 | 1000 | 351 | 351 |
- 我們可以看到序列長度越短，推斷時間也越短；
- GPU的推斷性能遠(yuǎn)大于cpu；
- 基于tfserving的推斷，因為是基于grpc遠(yuǎn)程調(diào)用，在服務(wù)啟動和調(diào)用上會帶來一定的耗時。那么有沒有一種壓縮版的bert，可以提高線下訓(xùn)練和線上推斷的性能呢？下面這篇論文可以提供一種解決方案。
ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS
Google 201909發(fā)表
目錄
1. 摘要
Bert在2018一經(jīng)提出，提高了很多nlp任務(wù)的baseline，但是Bert模型參數(shù)量大，在推斷資源有限的情況下，我們應(yīng)該怎么樣用bert這種好的預(yù)訓(xùn)練模型。為了解決問題，本文提出了兩種參數(shù)簡化的方法，加速Bert的預(yù)訓(xùn)練和推斷；并且我們提出了一個新的自監(jiān)督的loss函數(shù)，SOP學(xué)習(xí)到句子間的內(nèi)部特征。我們提出的模型，參數(shù)量更小，并且在GLUE,RACE等NLP 任務(wù)上達(dá)到最佳性能。
2. Bert簡介
BERT的全稱是Bidirectional Encoder Representation from Transformers，是Google2018年提出的預(yù)訓(xùn)練模型，即雙向Transformer的Encoder，這是真正基于self attention實現(xiàn)雙向。模型的主要創(chuàng)新點都在預(yù)訓(xùn)練模型上，即用了Masked LM和Next Sentence Prediction（NSP），兩種loss直接相加，優(yōu)化的話可以加權(quán)相加，兩種方法分別捕捉詞語和句子級別的representation。
Bert一經(jīng)提出，迅速火遍NLP，GLUE毫無懸念獲得第一名，高于基于ELMO，gpt等語言模型的一大截，一時間打開了遷移學(xué)習(xí)兩階段的大門，第一步基于無監(jiān)督的語料訓(xùn)練自己的MLM，然后基于自己的一些數(shù)據(jù)進行finetune，從而獲得很好的效果。
3. ALBERT論文細(xì)節(jié)以及實驗結(jié)果
3.1 參數(shù)縮減方法
本文提出兩種模型參數(shù)縮減的方法，具體如下：
- 從模型角度來講，wordPiece embedding是學(xué)習(xí)上下文獨立的表征維度為E，而隱藏層embedding是學(xué)習(xí)上下文相關(guān)的表征維度為H。為了應(yīng)用的方便，原始的bert的向量維度E=H，這樣一旦增加了H，E也就增大了。ALBert提出向量參數(shù)分解法，將一個非常大的詞匯向量矩陣分解為兩個小矩陣，例如詞匯量大小是V，向量維度是E，隱藏層向量為H，則原始詞匯向量參數(shù)大小為V*H，ALBert想將原始embedding映射到V*E（低緯度的向量），然后映射到隱藏空間H，這樣參數(shù)量從 V*H下降到V*E+E*H，參數(shù)量大大下降。但是要注意這樣做的損失確保矩陣分解后的兩個小矩陣的乘積損失，是一個有損的操作。
- 層之間參數(shù)共享。base的bert總共由12層的transformer的encoder部分組成，層參數(shù)共享方法避免了隨著深度的加深帶來的參數(shù)量的增大。具體的共享參數(shù)有這幾種，attention參數(shù)共享、ffn殘差網(wǎng)絡(luò)參數(shù)共享。
3.2 SOP預(yù)訓(xùn)練任務(wù)
我們知道原始的Bert預(yù)訓(xùn)練的loss由兩個任務(wù)組成，maskLM和NSP(Next Sentence Prediction)，maskLM通過預(yù)測mask掉的詞語來實現(xiàn)真正的雙向transformer，NSP類似于語義匹配的任務(wù)，預(yù)測句子A和句子B是否匹配，是一個二分類的任務(wù)，其中正樣本從原始語料獲得，負(fù)樣本隨機負(fù)采樣。NSP任務(wù)可以提高下游任務(wù)的性能，比如句子對的關(guān)系預(yù)測。但是也有論文指出NSP任務(wù)其實可以去掉，反而可以提高性能，比如RoBert。
本文以為NSP任務(wù)相對于MLM任務(wù)太簡單了，學(xué)習(xí)到的東西也有限，因此本文提出了一個新的loss，sentence-order prediction(SOP)，SOP關(guān)注于句子間的連貫性，而非句子間的匹配性。SOP正樣本也是從原始語料中獲得，負(fù)樣本是原始語料的句子A和句子B交換順序。舉個例子說明NSP和SOP的區(qū)別，原始語料句子 A和B， NSP任務(wù)正樣本是 AB，負(fù)樣本是AC；SOP任務(wù)正樣本是AB，負(fù)樣本是BA?？梢钥闯鯯OP任務(wù)更加難，學(xué)習(xí)到的東西更多了（句子內(nèi)部排序）。
3.3 實驗結(jié)果
本文提出了2種參數(shù)壓縮的方法以及1個新的loss，下面主要對這幾種方法進行實驗，實驗結(jié)果如下：
下圖2展示了BERT-large和ALBERT-large兩個模型的輸入和輸出embedding的L2以及余弦距離，我們可以看出ALBERT模型的距離比BERT模型
更層距離更加平滑，這說明權(quán)重共享有助于穩(wěn)定網(wǎng)絡(luò)的參數(shù)。
其中BERT和ALBERT模型的參數(shù)配置如下，我們可以看到當(dāng)減小embedding的維度以及使用了參數(shù)共享的方法，模型的參數(shù)量大大減小。
Bert和ALBert的模型性能比較如下，我們可以看到總體來說，ALBERT的性能優(yōu)于Bert，并且參數(shù)量較小接近5倍，性能也是最優(yōu)的。
4. 總結(jié)與問題
- 本文提出了2種模型參數(shù)壓縮的方法，即embedding矩陣分解法以及層參數(shù)共享法，并通過實驗證明詞方法的有效性；
- 同時本文也提出了一個新的預(yù)訓(xùn)練任務(wù)，SOP，是一個比NSP任務(wù)更難并且學(xué)習(xí)到的東西更多的任務(wù)，可以學(xué)習(xí)到句子內(nèi)部的順序。
- 通過實驗證明了這3個創(chuàng)新方案的有效性，目前排在GLUE排行榜第一名。
幾個思考問題如下：
- 論文提及到下游任務(wù)性能提高，并且參數(shù)量大大減小，訓(xùn)練速度也極大提高，推斷速度是不是也是同步的提高，這是需要實驗證明；
- 論文采用矩陣分解來將大矩陣變成兩個小矩陣，是不是也會帶來損失；
參考文獻(xiàn)
ALBERT: A Lite BERT for Self-supervised Learning of Language Representations
