[前沿理論][用戶體驗]

封面用研整編文章

不同的產品形態，重點關注的指標也不相同。當前新聞資訊領域內，聊天機器人的產品形態正火，針對這樣的產品，我們整合了相應的重點跟蹤指標。

BotAnalytics的聯合創始人?lker K?ksal在計算整理后得出結論：40%的聊天機器人用戶只會參與一次會話。這表明，開發聊天機器人的企業需要投入更多精力來研究測量指標，跟蹤其性能，爭取在有限的交互機會中，挖掘更多的服務空間，提升產品體驗，為用戶創造價值。

傳統指標和分析工具，比如每日活躍用戶數（DAU），谷歌的Analytics 或 Mixpanel，它們很適合跟蹤網站和移動應用的表現，但聊天機器人獨特的會話特點需要從不同的角度來審視。

傳統的指標甚至可能產生誤導。例如，會話時長通常被用作是網站和APP上用戶參與度的重要指標，然而，許多聊天機器人是助手型的，它像是一個內嵌的的功能性快捷方式，會話時長的增加可能意味著用戶混亂或會話效率低下。

隨著人氣暴漲的聊天機器人的普及，開發者已經收集到足夠的數據來確定它是否在正常運轉。像Dashbot和Botanalytics這樣的分析公司已經推送了近1億條信息，并對哪些指標是最有用的進行了概述。其平臺上的開發者嘗試了數十個新措施來改進機器人。

下面是我們所研究的十個聊天機器人指標。

1：有效用戶數

有效用戶數是最重要的，如果樣本不夠大，如下所有數字都將不會如您所愿的相關或有意義。因此，為了保證所有指標的有效性，您首先要關注到達的的有效用戶數。

做一個簡單的對比，如果您的機器人與1,000個或更多用戶進行了互動，那么您可以使用的樣本大小相對合適，而假如您只有10位用戶，那您的樣本量就顯得不可信，也說明您的聊天機器人還有很多地方尚需完善。

2：活躍用戶數、參與用戶數

活躍用戶與參與用戶之間的主要區別在于，只要使用機器人并閱讀機器人發送的信息的用戶，就是活躍用戶，而參與用戶則會響應機器人，發出請求或詢問。

其中，用戶參與時發出的消息反映了他們對機器人表現的期望，模擬他們的心理模型，通常能促進參與度的提高。

用這兩個指標區分用戶的參與度非常重要，因為您可以從不斷參與的用戶中學到很多東西。他們的反饋將為機器學習提供素材，也為您調整策略提供幫助，以便更好地服務這些深度參與的用戶。

3：會話時長（均值、分布）

一旦確認機器人與足夠的用戶進行了互動，您就可以開始查看基本的統計信息，這將給您提供一個基本的使用概況。 其中，平均會話時長是一個很好的衡量指標，但您必須將其落地在具體的行業和場景上。

例如，一些聊天機器人是為了回答問題和服務客戶而設計的，在這種情況下，會話時長應該要短。 相對的，處理訂單或講故事的機器人，應該讓用戶停留更長的時間，參與更多有意義的交互。

而會話時長的均值和分布情況，則可以反映用戶會話時長的不同側面，為決策提供更豐富的參考。

4：每個用戶的會話數量（均值、分布、時序）

40%的聊天機器人用戶只會參與一次會話，這可能說明，對于用戶正在尋找的答案，它并沒有給到。關注每個用戶的會話數量是非常重要的，因為它能表明您的機器人是否在正常工作。

進一步看一下用戶與機器人的對話，我們至少可以確定哪些問題是無法解決的。同時，您也應該關注那些進行了多次會話的用戶，以便了解機器人是什么地方做得好，讓用戶能夠多次前來使用。 然后，您可以基于此畫下藍圖，優化策略，提高此類型會話出現的概率，以讓更多的用戶進行多次會話。

同時，您也要關注用戶會話數量隨時間的波動，這可以幫助您了解到機器人潛在的缺陷，找到問題點并解決它們。

5：每個用戶的交互次數（均值、分布、時序）

機器人性能的另一個重要指標是每個用戶的交互次數。 這個指標類似于會話時長，不同類型的機器人對應的交互次數也不同。

如果您的機器人的主要目的是銷售，交互次數多可能意味著客戶很感興趣，并且，如果客戶詢問了許多有關產品的問題，這就很容易促成真實的購買行為。另一方面，針對客戶服務型的機器人，如果交互次數過多，則可能意味著服務效率低，用戶沒能快速獲得答案。

6：會話步驟（對話回合）

這又是一個因人而異的指標，會話步驟的合理數量取決于機器人的目的。如果您的機器人服務于簡短直接的對話，那么步驟應該盡可能少。 另一方面，如果您希望機器人能與觀眾建立有意義的連接，更多的步驟可能更好。

“每一個開發者都需要知道它們的平均會話步驟”，K?ksal說。助手型聊天機器人比娛樂型聊天機器人的平均會話步驟少。但是，不管聊天機器人是什么類型，對話回合數大大超過或低于平均數量，通常都表明這是一次糟糕的用戶體驗。用戶放棄得太快或機器人花了太長的時間來完成用戶目標，都是典型失敗的用戶體驗。

7：點擊率（CTR）

雖然CTR不是當前的主要指標，但它無疑將成為未來需要注意的重要因素之一。同樣的，不同的業務模式下，應該關注不同的點擊率指標。

8：混亂觸發器

您不僅應該考慮用戶的反應，還要考慮到在遇到困難任務和請求時，機器人的行為。

由于用戶的溝通方式多種多樣，所以機器人常常因不同的表達方式而感到困惑，甚至誤解用戶的意思。很可能會出現類似于“我不明白”、“聽不懂”等回應。 因此，請關注觸發機器人混亂狀態的次數，并分析每個案例中的對話內容，制定相應的策略，以降低混亂觸發的比例，讓您的機器人看起來更聰明。

通過密切關注混亂情況，您甚至能捕捉到原本可能會錯過的問題。例如，輸入同樣的內容，但可能因為輸入方式的不同（打字/語音/快速按鈕），而導致機器人出現困惑。

需要人為干預時，跟蹤混亂率也有助于任務分流。正如糟糕的客服會毀掉您的品牌口碑，糟糕的聊天機器人也會帶來同樣的問題。因此，在高風險的情況下，我們要著重改善機器人的表現，并培訓員工進行人為介入。這可以大幅降低客戶流失率，并為您挖掘用戶真實需求提供寶貴的機會。

9：響應時間

毫無疑問的，用戶需要快速響應。即使大多數機器人的響應都需要耗費一點時間，您也要確保您的機器人沒有意外掉鏈子。（如果能在響應時間上做到出類拔萃，當然最好。）?

為此，您可以進行針對性的測試，或者簡單地，您只需與機器人進行自然交互，看看響應所需的時間是否在可接受范圍內。

10：留存率

針對這個指標，您也應該根據具體的應用場景，來關注不同的留存率指標。每個會話的生命周期與機器人的留存周期，都因人而異。

如果您的機器人提供每日更新的內容，則需要關注1至3天的留存率。 如果您的機器人幫助用戶下訂單，則希望他們保持參與度，至少直到產品簽收為止。

最后......

找到正確的衡量指標，是開發一款成功的機器人的關鍵。關注以上我們提到的指標，細分用戶，優化您的機器人，提供最佳的用戶體驗，提高長期使用率和用戶參與度，讓機器人能夠更好地為您的品牌和產品口碑提供幫助。