本文首發于：行者AI

從最初的GPT1和BERT模型到GPT3，在更多的訓練數據及更強力的算力加持下，大規模的預訓練模型逐漸走上了一條參數暴漲的不歸路。GPT3比起前作GPT2參數增加了100倍，達到了令人驚嘆的1750億，與此同時，這些模型對應的論文也從10多頁增加到72頁。這些劇烈變動的趨勢反映了學界對通用語言模型的殷殷期盼。

天量參數加持下的GPT3一經問世就引起了眾多深度學習界研究人員的關注，雖然在測試表現中存在著“邏輯硬傷”等明顯的缺陷，但是瑕不掩瑜，其出色的生成效果和令人驚嘆的少樣本學習（few-shot）能力得到了眾多研究人員的肯定。

令人遺憾的是對于國內的研究者而言，由于GPT3主要是在英文數據集下訓練，不能直接用于中文數據的處理。而對于中文數據的自然語言處理也迫切需要大規模的預訓練模型，清源團隊在2020年11月份發布了在巨量中文語料下訓練得到的大規模預訓練模型——CPM。也被稱之為中文版的GPT3，最大版本擁有26億參數。在實際測試中收獲了很多驚喜，尤其是它的少樣本學習能力，著實令人印象深刻。

下面就來一起感受一下它的驚艷之處。

表0-1 近幾年有代表性的大規模自然語言處理預訓練模型的概況

1. 生成效果

CPM模型的論文中自然不乏以專業指標來表示的測試結果，雖顯嚴謹，但卻無法直觀地感受到模型的具體效果，故本文羅列了眾多具體的生成實例，可以直觀感受其強大之處。

1.1 少樣本問答生成

問答是自然語言處理領域中一個經典應用場景，諸如智能客服，閑聊機器人都是該場景的具體應用。CPM的訓練數據集中也包含部分問答數據（見表2-1），故整體來看在問答場景的效果有著意料之中的較好表現。

CPM模型在常識問答（表1-1）中大多數都能正確回答，少數回答錯誤的例子在范圍上并沒有偏離太多，如“黃曉明的老婆是誰”雖然回答錯誤，但回答內容也是一個人名，從范圍上來看并沒有偏離太多。類似“砒霜可以吃嗎”這種詢問是否可以的問題模型似乎學會了習慣性的說"可以"（真是個順從的好boy）。

表1-1 常識問答

注：“-”代表沒有參考答案，屬于開放式問題，下同。

生活話題（表1-2）的回答還反映了模型“機智”的一面，對于“鳳姐和鞠婧祎誰更漂亮”的問題學會了兩邊都不得罪。對于“男朋友是渣男怎么辦”的問題模型更是毅然決然的拋出了兩個字“分手”。

表1-2 生活話題問答

模型對相似概念的區分（表1-3）遭遇了滑鐵盧，不難看出模型的“知識學習”的并不是很扎實，多數時候只能給出一些似是而非的回答，但個別回答也能表現出模型具有一定的分辨相似概念的能力，還是令人稱奇。

表1-3 相似概念區分

“詢問”了模型5道簡單的個位數算術題，模型僅做對了兩道（表1-4），暴露了模型不善數學的一面。

表1-4 算術問答

前面見識到模型對相似概念區分有一定辨識能力后，便進一步的好奇模型對于專業知識的回答會有何表現。一番測試后發現模型對專業知識的回答大部分還都是正確的（表1-5），著實令人意外?；卮疱e誤例子中模型便只是給出了一些相關的內容，綜合前面幾個方面的問答，能感受到模型給出結果的背后邏輯似乎是相關性。

表1-5 專業知識問答

測完模型的“專業性”，又開始好奇模型的“內涵”，所以有了下面一些哲學問答（表1-6）。雖然對于靈魂三問模型只是給出了一些很摸不著頭腦的回答，但是似乎也不妨礙它啟發人類（“人工智能是人類的希望?！保?。

表1-6 哲學話題問答

1.2 少樣本古詩詞及歇后語續寫

對于古詩詞續寫（表1-7）模型似乎是“滿分考生”，而歇后語續寫（表1-8）亦是穩穩當當。

表1-7 古詩詞續寫

表1-8 歇后語續寫

1.3 少樣本實體生成

實體生成表現出了CPM模型在少樣本學習上的優良性能，且模型訓練時并沒有針對此類數據進行過訓練，卻僅通過兩個例子（附-4）就能“悟到”需要給出的回答應該是什么樣的。

表1-9 實體生成-首都

對于首都的實例生成（表1-9）和國內省會城市的實體生成（表1-10），模型幾無差錯，但對國外的省會（首府）城市便有些差強人意了。

表1-10 實體生成-省會

雖然對于學科相關的實體生成論文中已有例舉，但筆者還是按捺不住好奇之心做了些許嘗試，效果依然令人印象深刻。

表1-11 實體生成-學科

試驗行至此處，突然有了一個大膽的想法：若是不加微調地對模型直接進行少樣本學習下的詞性分析結果會如何呢？基于此進行了簡單嘗試得到了表1-12，雖然結果未能達到預期，但是卻也顯示出了CPM在這方面的潛力。不難讓人相信，若是進行一番針對性的微調訓練，它在詞性識別任務上也能有不俗的表現。

表1-12 實體生成-詞性

基于前面，進一步發散思維做了顏色的實體生成（表1-13），從結果來看依然有著不錯的潛力。

表1-13 實體生成-顏色

基于前面的種種表現，從字符判斷語種反而對模型而言算是一個簡單的任務了，表1-14測試的結果都是給出了正確答案。

表1-14 實體生成-語種判斷

對于性別的實體生成（表1-15）模型似乎也能給出一些說得過去的答案，真是令人意想不到。

表1-15 實體生成-性別

職業方面的實體生成（表1-16）測試了從古至今各個行業的一些著名人物，絕大多數都給到了正確的結果，似乎顯示了模型的“博古通今”。

表1-16 實體生成-職業

雖然對于導演/主演的實體生成（表1-17）中所給的例子都為導演（見附-10），但是有一次展現了模型的“領悟”能力，對于主演的實體生成也是不在話下。

表1-17 實體生成-導演/主演

最后嘗試了一下用實體生成來尋找近義詞（表1-18），卻發現模型對于此任務表現一般，很容易就生成一些并不是近義的詞匯。

表1-18 實體生成-近義詞

2. 預訓練模型簡介

2.1 模型規格與 數據集

表2-1 CPM模型的3種規格

表2-2 CPM模型的訓練集構成

2.2 訓練參數

表2-3 CPM模型訓練時的主要參數設定

2.3 結果測試

三種規格的模型的零樣本（未經目標數據訓練或微調）對文本分類任務的效果令人意外，其中TNEWS與IFLYTEK為4分類，OCNLI為3分類。

表2-4 CPM三種規格模型在零樣本學習（zero-shot）情形下的文本分類效果

使用CPM進行實體生成時也表現出了令人驚喜的效果，在給予兩個三元組關系示例作為前文的情況下可以領會到以示例格式輸出生成的實體（見附-6所示代碼）。另外原論文表示在N設置為2時便可以取得與N為4時相當的效果。

表2-5 CPM模型在少樣本學習（few-shot）情形下于XLORE數據集上的BLEU-1分數對比

*注：BLEU-1評估分數范圍在0~1之間，值越大代表效果越好；N代表少樣本學習中所給示例的數目；XLORE數據集是包含實體及關系的一個數據集；

3. 附錄

附-1 問答few-shot代碼示例

def ask_question(question, max_len=55):
    out = sample('''問題：中國的首都是哪里？
    答案：北京。
    問題：李白在哪個朝代？
    答案：唐朝。
    問題：%s
    答案：''' % question, max_len)
    print(f"Q:{question}    A:{out}")`

附-2 詩詞續寫few-shot代碼示例

def dictation_poetry(front, max_len=50):
    out = sample('''默寫古詩:
    白日依山盡，黃河入海流。
    %s，''' % front, max_len)
    print(f"Q:{front}    A:{out}")`

附-3 算數問答few-shot代碼示例

def do_math(inputs, max_len=10):
    out = sample('''1+1=2
    3+2=5
    %s''' % inputs, max_len)
    print(f"Q:{inputs}    A:{out}")`

附-4 省會實體生成few-shot代碼示例

def entity_generation_provincial_capital(inputs, max_len=20):
    out = sample(
        f"""山東 省會 濟南
        河南 省會 鄭州
        {inputs} """, max_len)
    print(f"prompt:{inputs} answer:{out}")`

附-5 首都實體生成few-shot代碼示例

def entity_generation_capital(inputs, max_len=20):
    out = sample(
        f"""中國 首都 北京
        美國 首都 華盛頓
        {inputs} """, max_len)
    print(f"prompt:{inputs} answer:{out}")`

附-6 學科實體生成few-shot代碼示例

def entity_generation_subject(inputs, max_len=20):
    out = sample(
        f"""恒星級黑洞 學科 宇宙論
        品類需求強度 學科 品牌經濟學
        {inputs} """, max_len)
    print(f"prompt:{inputs} answer:{out}")`

附-7 詞性實體生成few-shot代碼示例

def entity_generation_pos(inputs, max_len=20):
    out = sample(
        f"""跑 詞性 動詞
        可愛 詞性 形容詞
        砰 詞性 擬聲詞
        {inputs} """, max_len)
    print(f"prompt:{inputs} answer:{out}")`

附-8 顏色實體生成few-shot代碼示例

def entity_generation_color(inputs, max_len=20):
    out = sample(
        f"""血液 顏色 紅色
        天空 顏色 藍色
        {inputs} """, max_len)
    print(f"prompt:{inputs} answer:{out}")`

附-9 語種實體生成few-shot代碼示例

def entity_generation_language(inputs, max_len=20):
    out = sample(
        f"""吃了嗎 語言 漢語
        interesting 語言 英語
        {inputs} """, max_len)
    print(f"prompt:{inputs} answer:{out}")`

附-10 導演/主演實體生成few-shot代碼示例

def entity_generation_director(inputs, max_len=20):
    out = sample(
        f"""霸王別姬 導演 陳凱歌
        千與千尋 導演 宮崎駿
        {inputs} """, max_len)
    print(f"prompt:{inputs} answer:{out}")`

附-11 性別實體生成few-shot代碼示例

def entity_generation_gender(inputs, max_len=20):
    out = sample(
        f"""口紅 性別 女
        胡須 性別 男
        {inputs} """, max_len)
    print(f"prompt:{inputs} answer:{out}")`

附-12 職業實體生成few-shot代碼示例

def entity_generation_job(inputs, max_len=20):
    out = sample(
        f"""奧巴馬 職業 總統
        胡歌 職業 演員
        {inputs} """, max_len)
    print(f"prompt:{inputs} answer:{out}")`

附-13 同義詞生成few-shot代碼示例

def entity_generation_synonyms(inputs, max_len=20):
    out = sample(
        f"""信息 近義詞 資訊
        生還 近義詞 幸存
        {inputs} """, max_len)
    print(f"prompt:{inputs} answer:{out}")`

附-14 翻譯實體生成few-shot代碼示例

def entity_generation_translation(inputs, max_len=20):
    out = sample(
        f"""信息 英語 information
        我 德語 ich
        {inputs} """, max_len)
    print(f"prompt:{inputs} answer:{out}")`

附-15 歇后語實體生成few-shot代碼示例

def couplet(inputs, max_len=20):
    out = sample(
        f"""歇后語 孔夫子搬家 盡是書
        兔子的尾巴 長不了
        {inputs} """, max_len)
    print(f"prompt:{inputs} answer:{out}")`

4. 參考文獻

1. Zhang, Z. et al. CPM: A Large-scale Generative Chinese Pre-trained Language Model. (2020).