一、前言
? ? ? ?正如一輛車的運行需要很多的油料的配合，對話機器人的運行一樣需要很多“油料”的配合。對話機器人的“油料”就是對話機器人中的數據，今天我們就來聊聊給新機器人怎么“加油”的問題。
二、什么是對話機器人冷啟動
? ? ? ?計算機啟動可以分為冷啟動和熱啟動，冷啟動指的是計算機從斷電到通電的一種啟動方式，計算機在冷啟動的過程中，內存中的數值是一些隨機量。啟動完成后的計算機會在內存中不斷寫入數據，讓計算機運行各種軟件，滿足用戶的各種使用需要。
? ? ? ?在對話機器人中，同樣存在一個數據從無到有，逐漸滿足用戶使用需要的過程，這個過程就是對話機器人的冷啟動。對話機器人的冷啟動是指對話機器人完成系統搭建后，在上線前沒有經過生產、標注的結構化知識庫數據，只有一些用戶記錄、歷史知識點等數據，甚至只有行業專家的經驗時，如何通過流程、工具快速完成知識庫梳理、語料積累，讓機器人能夠滿足上線要求的流程。
? ? ? ? 冷啟動的過程需要ai訓練師和業務人員的配合，針對不同的冷啟動類型完成對機器人服務能力的定義、數據的生產、效果測試等工作，讓機器人能力滿足上線標準。完成冷啟動后的機器人就會轉入日產運營的流程，通過對系統日志的標注、分析、問題解決、驗證效果的線上運營閉環持續迭代。
二、對話機器人冷啟動類型
不同的機器人冷啟動的流程存在差異，有通過歷史用戶-坐席對話記錄或者留言板數據的從下往上構建方式，有根據業務人員的經驗從上往下構建的方式。以是否有歷史數據及現成的結構化數據兩個維度對冷啟動類型通過swot區分，可以根據接入對話機器人客戶擁有的數據情況簡單將冷啟動分為四類：
類型用戶問句知識點場景說明：
類型一：一般為之前沒有上線過客戶服務類產品，第一次接入客戶服務類產品就接入對話機器人
類型二：一般為業務人員人工根據自己的業務經驗梳理了部分知識點
類型三：一般為之前有上線留言板或者意見反饋入口給用戶，收集用戶反饋意見
類型四：一般為：1.原本有上線過對話機器人，因為技術原因需要升級服務，提升服務效果
? ? ? ? ? ? ? ? ? ? ? ? ? ? ?2.業務人員人工根據自己的業務經驗對之前的用戶問句記錄進行了整理，梳理出了部分知識點
三、冷啟動前期工作
在開始對話機器人冷啟動工作前，有很多前置的工作需要完成。這些工作的目的一方面是為了在后面實操過程中作為ai訓練師的操作的指引，另一方面也是為了機器人上線準備除知識庫之外的數據。
1.詞庫數據梳理
詞是語言組成的基礎，理解用戶的詞是對話機器人理解用戶表述內容的前提。在對話機器人中詞有以下應用：
1.對用戶問進行預處理：機器人在解析的過程中為了減少后續模塊的識別壓力和識別的需要，會對用戶問進行停用詞過濾、同義詞轉換、分詞。
2.價值發掘、風險防范：在業務上對于高價值、風險用戶需要進行業務上專門的處理，例如：咨詢高價值產品客戶轉人工、監管合規要求轉人工等。
3.統一業務口徑：將專有名詞統一應用，能夠避免運營人員針對統一產品多種表達導致用戶理解困難。
這些功能的實現都依賴于對話機器人的詞庫數據，因此在對話機器人的系統中需要整理的詞數據包括：專有名詞、停用詞、同義詞、敏感詞等組成。
2.定義機器人服務形象
機器人形象是指用戶在使用機器人時，用戶心理上產生的對機器人的主觀印象。明確的機器人形象能夠統一用戶體驗，方便機器人與用戶更好的溝通，是品牌形象的一部分。機器人形象包括機器人形象模式和形象風格，通過模式與形象風格的組合確定機器人形象后，運營人員可以根據機器人形象定義機器人的名稱，設計答案和話術風格等。
機器人形象模式包括：
1）擬人形象：通常會以工號或者模糊形象出現，采用和坐席相同的口吻，給用戶模擬一種真人服務的體驗。
2）機器人形象：明確向用戶表達自己的對話機器人，明確自己能解決問題的范圍，方便不喜歡人工的客戶交互。
機器人形象風格則包括可愛、嚴肅等....
3.知識點句式結構規則
機器人在服務用戶時，會將知識點作為推薦展現給用戶，句式結構統一的知識點，在展現時能夠方便用戶迅速發現知識點之間的差異，利于理解。
另外，運營人員在管理知識點統一的句式能夠避免知識點的重新添加，在搜索時提高搜索效率
4.知識點業務定義
知識點的業務定義是指對什么知識點能解決用戶的什么業務問題進行定義，明確知識點的業務對應的業務場景。
1）、標準問題應該句子結構完整，語義不會產生歧義
錯誤eg1：怎么退款----缺少主語，不清楚什么業務退款問題
錯誤eg2：加急審核----缺狀語，不清楚加急審核是失敗了還是催通過
錯誤eg3: ?短信接收失敗----歧義，可以對應是是用戶收不到客戶的短信也可以是客戶收不到云片的短信
2.業務范圍明確，不存在業務范圍交叉情況
錯誤eg：為什么提示不匹配----是業務A不匹配還是業務B不匹配
...
5.答案編寫規則
準確識別用戶的意圖只是好的服務開始，答案展示的好壞直接影響用戶的體驗。好的答案需要對答案的結構及展現的樣式進行專門的設計。
5.1答案的結構
eg1:稱呼+答案+致謝
您好，您可以通過官網上的找回密碼入口找回您的密碼，謝謝
eg2:稱呼+問題+答案+致謝
您好，忘記密碼可以通過官網上的找回密碼入口找回您的密碼，謝謝
5.2答案的樣式
一些答案為了更好的讓用戶理解，可以通過卡片化、圖形化的組件進行展示，也可以在文字的答案中插入配圖、視頻等形式方便用戶理解。
四、對話機器人冷啟動流程
1.類型1冷啟動（無知識點、無對話日志）
難點：1.業務流程需要梳理
? ? ? ? ? ?2.需要人工擴寫語料
流程：1.知識點整理，根據梳理的業務流程人工定義知識點
? ? ? ? ? ?2.人工擴寫語料，根據整理的知識點人工擴寫語料作為訓練數據。人工擴寫的語料質量、數量決定了模型初始的準確率和后續語料挖掘的效果。如果質量和數量均不理想，等于我們的起跑線就落后了。
? ? ? ? ? ? ? 1）、語料說法豐富，避免句式單一，例如疑問句的各種句式結構
? ? ? ? ? ? ? 2）、特征詞盡可能遍歷，例如防騷擾詞的各種說法
2.類型2冷啟動（有知識點，無對話日志）
難點：1.知識點定義可能不規范
? ? ? ? ? ?2.知識點缺漏，覆蓋不完全
? ? ? ? ? ?3.業務流程梳理可能缺失
? ? ? ? ? ?4.需要人工擴寫語料
流程：1.復核知識點規范
? ? ? ? ? ?2.人工擴寫語料
3.類型3冷啟動（有知識點、有對話日志）
難點：1.知識點定義可能不規范、
? ? ? ? ? ?2.知識點缺漏，覆蓋不完全
? ? ? ? ? ?3.前期標注的數據可能存在臟數據
? ? ? ? ? ?4.歷史對話日志存在大量噪音，需要進行處理才能使用
? ? ? ? ? ?5.對話日志標注需要大量的人力投入
流程：1.復核知識點規范
? ? ? ? ? ?2.對話日志數據預處理。根據定義的預處理規則對歷史對話日志進行處理，如：1.符號過濾2.去重3.過長、過短日志過濾
? ? ? ? ? ?3.訓練小語料模型，對處理后的對話日志進行跑測，輔助運營人員標注
? ? ? ? ? ?4.對處理后的對話日志聚類
? ? ? ? ? ?5.人工復核聚類結果，篩選出可以作為新知識點的聚類結果
? ? ? ? ? ?6.重復3、4、5
4.類型4冷啟動（無知識點，有對話日志）
難點：1.日歷對話日志存在大量噪音，需要進行處理才能使用
? ? ? ? ? ?2.對話日志標注需要大量的人力投入
? ? ? ? ? ?3.需要對業務流程進行梳理
流程：1.對話日志數據預處理
? ? ? ? ? ?2.對處理后的對話日志聚類
? ? ? ? ? ?3.人工復核聚類結果，篩選出可以作為新知識的聚類結果
? ? ? ? ? ?4.訓練小語料模型輔助標注
? ? ? ? ? 5.重復2、3、4步驟
五、冷啟動效果驗證及閾值評估
那么什么樣的對話機器人是好的對話機器人，就是我們期望機器人能夠回答的都回答準確，不能回答的問題不亂回答。但是如何通過指標量化呢？
1.測試語料標注
小時候，上學的時候我們就會通過練習去學習知識，然后在考試時，對我們的學習情況進行測驗，通過得分評估我們對知識的掌握情況。對于對話機器人來說同樣存在模擬題和測試題，我們在冷啟動過程中準備的訓練語料就是機器人的模擬題，所以我們要測試對話機器人冷啟動的效果，還需要提前準備一份標注好的數據用來作為測試題。
測試集由兩部分組成，一部分是業務的測試集，用來反映機器人對知識庫內容的學習情況，另一部分為非業務的測試語料，用來測試模型的魯棒性。
1）、業務測試集為沒有參與機器人問答模型訓練的知識點相似問法
2）、非業務測試語料為機器人知識庫在設計時就沒考慮要解決問題的相似說法
2.測試關注指標
準備好測試集后，當模型完成訓練后，我們通過模型將測試集的結果全部跑出來后即可計算出模型的指標
? ? ? 準確率=機器人出話準確數/機器人出話數
? ? ? 召回率=機器人出話準確數/業務測試集數量
? ? ? f1測度=準確率*召回率*2/（準確率+召回率）
模型效果評估報告：
模型的評估報告就是根據模型的版本，將不同閾值的準確率、召回率及F1測度進行記錄的報告，用來判斷模型是否滿足上線條件。只有模型滿足了上線的f1測度要求，冷啟動的過程才算完成。此時，對話機器人就會開始上線面向用戶進行服務，轉為日常運營。
六、對話機器人冷啟動常見工具
對話機器人的冷啟動過程是需要大量ai訓練師人力投入的，如何提升ai訓練師的工作效率，減少ai訓練師投入能夠顯著降低項目實施成本，也可以在保證ai訓練師資源不變的情況下承接更多的業務。所以在實際的工作中往往會應用很多工具對冷啟動流程進行優化。下面就和大家簡單說幾個：
1.語料擴寫工具
在類型一、二中都存在大量的人工擴寫語料過程，如果全部通過人工的方式進行擴寫，會導致冷啟動的周期過程。通過語料擴寫工作能夠幫助ai訓練師在缺訓練數據時，快速、自動的擴寫出大量語料，減少人工擴寫語料的工作量，縮短冷啟動的周期。
語料擴寫工具由兩部分組成，一部分為生成，另一部分為評估，工具通過生成工具快速生成大批量的預料，然后通過評估工具過濾掉大部分句式不同，語義不明的垃圾擴寫數據，然后給到運營人員進行標注。目前常見的生成有詞庫+句式模板和sqe2sqe的生成模型兩類，評估則有規則過濾和LM模型過濾兩類。
2.新知識發掘工具
新知識發掘工具是應用于類型三、四冷啟動的工具，它的本質就是一個聚類算法，將待聚類的數據輸入后根據數據與質心的空間距離進行分類，目前常見的聚類算法有k-mean等。
ai訓練師將聚類結果中同類數據標注后即可批量加入訓練數據，能夠大大提升ai訓練師發現新知識及數據標注的效率。
3.標注輔助工具
標注輔助工具則經過封裝的半監督學習服務，即通過前期標注的少量數據訓練一個小模型后，對待標注的數據進行跑測得到top1-5的候選結果。通過標注輔助工具就將語料的標注工作轉換為判斷工作，能夠大大提升數據標注的效率
4.知識點&語料沖突檢查工具
知識庫的知識點在快速擴增的時候，ai訓練師往往由于協作問題導致知識庫中知識點重復，即一個知識點的多種表述被分別作為標準問新增到知識庫中。另外，語料在標注過程中知識點存在調整、對應業務范圍調整，但是語料沒有對應進行調整的工作。此時可以通過該工作作為冷啟動閉環的檢查工具。
七、結語
對話機器人的技術目前已經成熟，但是目前制約很多公司對話機器人應用的還是他們的運營流程。本篇作為對話機器人運營篇的第一篇希望對大家能夠有用。
