一些智能問答方案

  1. 索引庫(FAISS)+知識庫(DB)搭建智能客服系統
    博客[1]基于索引庫(FAISS)+知識庫(DB)搭建了智能客服系統。通過將圖片、文本等通過某種方式進行向量化表示(word2vec、doc2vec、elmo、bert等),然后把這種特征向量進行索引(faiss/Milus) ,最終實現在線服務系統的檢索,然后再通過一定的規則進行過濾,獲取最終的數據內容。
  2. 利用bert和faiss實現基于向量的深層語義相似文本召回
    基于信息檢索的自動問答系統將整個流程簡化為粗召回和精排序。
    一般借助 elstiscsearch 這個數據庫來存儲 FAQ,然后再進行索引召回。elstiscsearch使用的其實就是倒排索引技術,它事先把所有 question 進行分詞,然后建立詞-文檔 矩陣,最終實現根據單詞快速獲取包含這個單詞的文檔列表之目的。
    使用該方法做相似文檔召回的優勢很明顯,實現簡單、不需要訓練模型、低資源需求、檢索速度快,深受各大小公司喜愛。然而它的缺點也很明顯,文本是具有語義的、是有語法結構的,倒排索引忽略了語句的語法結構,同時也無法解決一詞多義和同義詞的問題,也就它無法對 query 進行語義層面的召回。
  3. 智能問答QA
    問題改寫(question rewriting)任務旨在為輸入問題生成語義相同但表述方法不用的復述形式。該任務屬于nlp中的復述生成任務。
    問題改寫對社區問答任務具有很好的輔助作用,社區問答知識庫中每個已有問題都可以匹配多種不同的用戶提問方式,對于和已有問題差別比較大的問法,在線問題匹配模型匹配成功的難度通常比較大,此時可以采用離線的方式對問答知識庫中已有的問題進行改寫,以達到拓展問題知識庫的目的。問題改寫一般分基于統計的方法和基于深度學習的方法。
  4. 智能問答機器人
    https://developer.aliyun.com/article/65188
    阿里云開發者社區博客<智能問答機器人>,介紹了智能問答系統結構、算法和數據接入,劃分為離線的知識挖掘部分和在線的智能問答機器人部分,問答技術包括語義分析、知識提取和回答生成。
    5.智能問答系統產品設計詳解之問答型機器人搭建
    設計了智能問答產品功能,介紹了智能問答關鍵技術與流程。
    6.AI實戰:垂直領域問答機器人QA Bot常見技術架構
    提出了智能問答檢索+匹配+排序架構的技術架構;
  5. 介紹一些知識圖譜的實際應用類項目
    介紹了開源的醫療保險領域知識圖譜、農業知識圖譜(AgriKG)等
  6. 參考:
    [1]自然語言處理(NLP):24BERT+FAISS快速搭建智能客服系統
    [2]基于向量的深層語義相似文本召回?你需要bert和faiss
    [3]智能問答QA(內附項目實例)(待補充)
    [4]智能問答機器人
    [5]. 智能問答系統產品設計詳解之問答型機器人搭建
    [6]. AI實戰:垂直領域問答機器人QA Bot常見技術架構
    [7]介紹一些知識圖譜的實際應用類項目
最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。