前言

大模型落地應(yīng)用過(guò)程中，一般形式還是問(wèn)答形式，無(wú)論是人機(jī)對(duì)話還是機(jī)機(jī)對(duì)話，都是靠問(wèn)答來(lái)解決一系列問(wèn)題。無(wú)論是要求大模型給出具體的專業(yè)化知識(shí)，還是要求大模型進(jìn)行某項(xiàng)作業(yè)的開展，都是以問(wèn)題（指令其實(shí)也是一種特殊的問(wèn)題）的形式進(jìn)行。所以在RAG中，如何將問(wèn)題轉(zhuǎn)化為大模型能夠理解的問(wèn)題，轉(zhuǎn)化為各種知識(shí)庫(kù)可以查詢的問(wèn)題，這是應(yīng)用大模型能力的關(guān)鍵。本次帶來(lái)的東南大學(xué)發(fā)表的一篇關(guān)于KBQA相關(guān)的論文綜述。詳細(xì)介紹了復(fù)雜事實(shí)性問(wèn)題的處理框架。我分為上中下三個(gè)部分詳解這篇論文中關(guān)于KBQA相關(guān)的內(nèi)容。洞悉用戶問(wèn)題才是大模型落地應(yīng)用的第一步！本篇為下篇，PLM在復(fù)雜知識(shí)庫(kù)問(wèn)答中的應(yīng)用以及排行榜以及未來(lái)趨勢(shì)。歡迎關(guān)注我們，大模型的藝術(shù)，持續(xù)更新！

【RAG問(wèn)答相關(guān)】復(fù)雜知識(shí)庫(kù)問(wèn)答綜述（上）

【RAG問(wèn)答相關(guān)】復(fù)雜知識(shí)庫(kù)問(wèn)答綜述（中）

PLM在復(fù)雜知識(shí)庫(kù)問(wèn)答中的應(yīng)用

在大型文本語(yǔ)料庫(kù)上進(jìn)行無(wú)監(jiān)督的預(yù)訓(xùn)練語(yǔ)言模型，然后在下游任務(wù)上對(duì)預(yù)訓(xùn)練語(yǔ)言模型（PLMs）進(jìn)行微調(diào)，已經(jīng)成為自然語(yǔ)言處理的一種流行范式[100]。此外，由于從大規(guī)模數(shù)據(jù)中獲得的強(qiáng)大性能以及在廣泛下游任務(wù)中提供服務(wù)的能力，PLMs被認(rèn)為是許多任務(wù)的“基礎(chǔ)模型”[101]，包括復(fù)雜的知識(shí)庫(kù)問(wèn)答（KBQA）任務(wù)。因此，一些最近的基于SP和基于IR的方法已經(jīng)廣泛地將PLMs納入到它們的流程中。

對(duì)于基于SP的方法，PLMs通常用于同時(shí)優(yōu)化可訓(xùn)練模塊（即問(wèn)題理解、邏輯解析、知識(shí)庫(kù)連接），從而有助于在seq2seq框架中生成可執(zhí)行程序（例如SPARQL）。通過(guò)這種統(tǒng)一的范式，可以利用跨任務(wù)的可轉(zhuǎn)移知識(shí)來(lái)緩解低資源情境中的數(shù)據(jù)稀缺問(wèn)題。對(duì)于基于IR（信息檢索）的方法，PLMs有助于精確構(gòu)建數(shù)據(jù)源，并進(jìn)一步增強(qiáng)了統(tǒng)一的推理能力。一方面，PLMs提供了強(qiáng)大的表示能力，可以從知識(shí)庫(kù)中檢索語(yǔ)義相關(guān)信息。另一方面，PLMs可以幫助統(tǒng)一問(wèn)題和知識(shí)庫(kù)的表示，從而有助于推理能力。

PLM應(yīng)用于基于sp的方法

搭載強(qiáng)大的PLMs，邏輯形式生成模塊受益于通過(guò)無(wú)監(jiān)督預(yù)訓(xùn)練獲得的強(qiáng)大生成和理解能力。在統(tǒng)一的seq2seq生成框架下，PLMs提供了可轉(zhuǎn)移的知識(shí)，有助于在有限數(shù)據(jù)情況下進(jìn)行有效的模型訓(xùn)練。用于增強(qiáng)邏輯形式生成的PLM。為了獲得可執(zhí)行程序（例如SPARQL），傳統(tǒng)的基于SP的方法將問(wèn)題解析成邏輯形式，然后通過(guò)知識(shí)庫(kù)連接來(lái)實(shí)例化它。這個(gè)過(guò)程可以很好地在知識(shí)增強(qiáng)文本生成框架下形式化（即從用戶請(qǐng)求到可執(zhí)行程序）。因此，一些研究利用了通常是神經(jīng)編碼器-解碼器模型的PLMs，直接根據(jù)問(wèn)題和其他相關(guān)的知識(shí)庫(kù)信息生成可執(zhí)行程序。為了獲取相關(guān)的知識(shí)庫(kù)信息輸入，Das等人從案例內(nèi)存中檢索了類似的案例，其中每個(gè)案例都是問(wèn)題和其金標(biāo)準(zhǔn)可執(zhí)行程序的一對(duì)。Ye等人根據(jù)預(yù)定義的規(guī)則，直接從基于知識(shí)庫(kù)的搜索中枚舉的候選邏輯形式中檢索了前k個(gè)相關(guān)的邏輯形式。這種PLMs的使用方式已經(jīng)證明了在模型性能方面取得了顯著的改進(jìn)。

用于低資源訓(xùn)練的PLM。從PLMs獲得的強(qiáng)大和可轉(zhuǎn)移的自然語(yǔ)言理解能力使得KBQA方法能夠在低資源情境中克服對(duì)訓(xùn)練數(shù)據(jù)的無(wú)法承受之需求。在最近的一項(xiàng)研究中，Shi等人在KQA Pro數(shù)據(jù)集上對(duì)預(yù)訓(xùn)練的序列到序列模型進(jìn)行了微調(diào)，以生成SPARQL和程序。雖然沒有引入外部知識(shí)來(lái)增強(qiáng)生成，但基于BART的生成器達(dá)到了接近人類性能，并且對(duì)稀疏訓(xùn)練數(shù)據(jù)表現(xiàn)出了魯棒性。

此外，與復(fù)雜的知識(shí)庫(kù)問(wèn)答類似，一系列結(jié)構(gòu)解析任務(wù)（例如Text2SQL、表格問(wèn)答、數(shù)據(jù)庫(kù)語(yǔ)義解析）可以構(gòu)成知識(shí)增強(qiáng)文本生成框架。在這個(gè)基礎(chǔ)上，受此啟發(fā)，Xie等人提出了結(jié)構(gòu)知識(shí)映射（SKG），以統(tǒng)一一系列結(jié)構(gòu)解析任務(wù)，并使用PLM模型T5在21個(gè)基準(zhǔn)任務(wù)上達(dá)到了（接近）最先進(jìn)的性能水平。通過(guò)這種基于PLM的通用方法，可以通過(guò)知識(shí)共享和跨任務(wù)泛化來(lái)解決低資源任務(wù)中精確語(yǔ)義解析的挑戰(zhàn)。

PLM應(yīng)用于基于IR的方法

憑借PLMs強(qiáng)大的表示能力，我們可以增強(qiáng)特定問(wèn)題的圖檢索，并在檢索源構(gòu)建過(guò)程中緩解知識(shí)庫(kù)的不完整性。此外，PLMs提供了一種統(tǒng)一的方式來(lái)建模非結(jié)構(gòu)化文本和結(jié)構(gòu)化知識(shí)庫(kù)信息在統(tǒng)一的語(yǔ)義空間中，從而改善了特定問(wèn)題的圖推理。

用于增強(qiáng)源構(gòu)建的PLM。為了盡可能完整地覆蓋答案，傳統(tǒng)的基于啟發(fā)式的方法，如個(gè)性化PageRank，會(huì)檢索一個(gè)大而嘈雜的特定問(wèn)題圖，這會(huì)妨礙后續(xù)的推理。因此，Zhang等人訓(xùn)練了一個(gè)基于PLMs的路徑檢索器，以檢索逐跳問(wèn)題相關(guān)的關(guān)系。在每一步，檢索器根據(jù)問(wèn)題和上一步選擇的關(guān)系排名前k個(gè)關(guān)系。這種方法成功地過(guò)濾了嘈雜的圖上下文，并保持了對(duì)答案的預(yù)期推理路徑的高召回率。

除了建立精確的源構(gòu)建模塊外，PLMs還具有減輕知識(shí)庫(kù)不完整性的潛力。PLMs已經(jīng)展示了它們回答“填空”式陳述的能力，這表明它們可以從無(wú)監(jiān)督的預(yù)訓(xùn)練中學(xué)習(xí)關(guān)系知識(shí)。這些關(guān)鍵發(fā)現(xiàn)表明，PLMs在作為問(wèn)題回答的知識(shí)源方面具有巨大潛力，可以在知識(shí)庫(kù)不完整的情況下起到補(bǔ)充的作用。

用于精確和統(tǒng)一推理的PLM。受到強(qiáng)大的預(yù)訓(xùn)練語(yǔ)言模型的吸引，一些研究人員對(duì)圖結(jié)構(gòu)上的復(fù)雜推理進(jìn)行了適應(yīng)，以進(jìn)一步利用PLM。傳統(tǒng)的基于知識(shí)庫(kù)的推理依賴于對(duì)實(shí)體和關(guān)系學(xué)習(xí)的嵌入，這些嵌入可能無(wú)法識(shí)別與問(wèn)題回答上下文相關(guān)的部分。為了在檢索到的子圖中過(guò)濾掉嘈雜的圖上下文，Yasunaga等人采用了PLM相似性分?jǐn)?shù)，以確定給定問(wèn)題的相關(guān)知識(shí)。為了進(jìn)一步聯(lián)合推理問(wèn)題回答上下文（即問(wèn)題-答案序列）和知識(shí)圖，檢索到的子圖中的節(jié)點(diǎn)表示是使用問(wèn)題、答案和節(jié)點(diǎn)表面名稱的連接序列的PLM編碼進(jìn)行初始化的。通過(guò)PLMs的增強(qiáng)，GNN模型獲得了顯著的性能提升。

評(píng)估和資源

在這一部分，我們首先介紹知識(shí)庫(kù)問(wèn)答（KBQA）系統(tǒng)的評(píng)估協(xié)議。然后，我們總結(jié)一些流行的KBQA基準(zhǔn)測(cè)試。最后，為了方便跟蹤研究進(jìn)展，我們?yōu)檫@些基準(zhǔn)測(cè)試數(shù)據(jù)集創(chuàng)建了一個(gè)排行榜，其中包含了相應(yīng)出版物的評(píng)估結(jié)果和資源鏈接。我們還附帶了一個(gè)伴隨頁(yè)面，用于綜合收集與KBQA相關(guān)的出版物、開源代碼、資源和工具。

為了全面評(píng)估知識(shí)庫(kù)問(wèn)答（KBQA）系統(tǒng)，應(yīng)考慮從多個(gè)方面進(jìn)行有效的度量。考慮到要實(shí)現(xiàn)的目標(biāo)，我們將度量分為三個(gè)方面：可靠性、魯棒性和系統(tǒng)與用戶的交互。

評(píng)估方式

可靠性：對(duì)于每個(gè)問(wèn)題，都有一個(gè)答案集（一個(gè)或多個(gè)元素）作為連接真實(shí)值。通常，KBQA系統(tǒng)會(huì)預(yù)測(cè)具有最高置信度得分的實(shí)體，以形成答案集。如果KBQA系統(tǒng)預(yù)測(cè)的答案存在于答案集中，則為正確的預(yù)測(cè)。在以前的研究中 [35]，[49]，[53]，存在一些經(jīng)典的評(píng)估指標(biāo)，如精確度（Precision），召回率（Recall），F(xiàn)1和Hits@1。對(duì)于一個(gè)問(wèn)題q，其精確度表示正確預(yù)測(cè)占所有預(yù)測(cè)答案的比例。其形式定義如下：

其中是預(yù)測(cè)的答案，是連接的真實(shí)答案。

召回率是正確預(yù)測(cè)占所有連接真實(shí)值的比例。它的計(jì)算方式如下：

理想情況下，我們期望KBQA系統(tǒng)同時(shí)具有更高的精確度（Precision）和召回率（Recall）。因此，F(xiàn)1分?jǐn)?shù)通常被用來(lái)進(jìn)行綜合評(píng)估：

其他一些方法使用 Hits@1 來(lái)評(píng)估正確預(yù)測(cè)排名高于其他實(shí)體的比例。它的計(jì)算方式如下：

其中是在預(yù)測(cè)集中第一位的。

魯棒性：實(shí)際的KBQA模型應(yīng)該能夠在測(cè)試時(shí)推廣到分布之外的問(wèn)題。然而，當(dāng)前的KBQA數(shù)據(jù)集大多基于模板生成，缺乏多樣性。而且，由于昂貴的標(biāo)注成本，KBQA系統(tǒng)的訓(xùn)練數(shù)據(jù)規(guī)模受到限制。此外，由于查詢的廣泛覆蓋和組合爆炸，KBQA系統(tǒng)的訓(xùn)練數(shù)據(jù)可能很難涵蓋所有可能的用戶查詢。為了提高KBQA模型的魯棒性，Gu等人提出了三個(gè)泛化級(jí)別（即i.i.d.、組合和零樣本），并發(fā)布了一個(gè)大規(guī)模的KBQA數(shù)據(jù)集GrailQA來(lái)支持進(jìn)一步的研究。在基本級(jí)別上，KBQA模型被假定是通過(guò)從相同分布中抽取的問(wèn)題進(jìn)行訓(xùn)練和測(cè)試的，這是大多數(shù)現(xiàn)有研究關(guān)注的內(nèi)容。除此之外，魯棒的KBQA模型可以泛化到已見模式項(xiàng)目（例如關(guān)系和實(shí)體類型）的新組合。為了實(shí)現(xiàn)更好的泛化并為用戶提供服務(wù)，魯棒的KBQA模型應(yīng)該能夠處理在訓(xùn)練階段未涵蓋的模式項(xiàng)目或領(lǐng)域的問(wèn)題。

系統(tǒng)-用戶交互：盡管大多數(shù)現(xiàn)有研究都非常關(guān)注離線評(píng)估，但用戶與KBQA系統(tǒng)之間的交互被忽視了。一方面，在搜索場(chǎng)景中，應(yīng)考慮用戶友好的界面和可接受的響應(yīng)時(shí)間。為了評(píng)估這一點(diǎn)，應(yīng)收集用戶的反饋，并評(píng)估系統(tǒng)的效率。另一方面，如果只提供單一輪的服務(wù)，系統(tǒng)可能會(huì)誤解用戶的搜索意圖。因此，評(píng)估KBQA系統(tǒng)的交互能力非常重要。例如，檢查它們是否能夠提出澄清問(wèn)題以消除用戶的查詢歧義，并查看它們是否能夠回應(yīng)用戶報(bào)告的錯(cuò)誤。到目前為止，缺乏對(duì)系統(tǒng)-用戶交互能力的量化測(cè)量，但可以將人工評(píng)估視為一種有效和綜合的方式。

數(shù)據(jù)集和排行榜

數(shù)據(jù)集。多年來(lái)，已經(jīng)付出了大量努力來(lái)構(gòu)建復(fù)雜的知識(shí)庫(kù)問(wèn)答（KBQA）數(shù)據(jù)集。我們?cè)诒砀?中列出了多個(gè)流行知識(shí)庫(kù)（例如Freebase、DBpedia、Wikidata和WikiMovies）的復(fù)雜KBQA數(shù)據(jù)集的代表性示例。為了服務(wù)于現(xiàn)實(shí)應(yīng)用，這些數(shù)據(jù)集通常包含需要多個(gè)知識(shí)庫(kù)事實(shí)進(jìn)行推理的問(wèn)題。此外，它們可能包括數(shù)值操作（例如比較和最高問(wèn)題的計(jì)數(shù)和排名操作）以及約束條件（例如實(shí)體和時(shí)間關(guān)鍵詞），這進(jìn)一步增加了從知識(shí)庫(kù)中推理答案的難度。

總的來(lái)說(shuō)，這些數(shù)據(jù)集的構(gòu)建包括以下步驟：首先，以知識(shí)庫(kù)中的主題實(shí)體作為問(wèn)題的主題，使用不同的模板創(chuàng)建簡(jiǎn)單的問(wèn)題。基于簡(jiǎn)單的問(wèn)題和知識(shí)庫(kù)中主題實(shí)體的鄰近性，進(jìn)一步使用預(yù)定義的組合模板生成復(fù)雜問(wèn)題，另一項(xiàng)工作也使用模板生成可執(zhí)行的邏輯形式。同時(shí)，使用相應(yīng)的規(guī)則提取答案。在某些情況下，雇傭眾包工作者來(lái)重新表述規(guī)范問(wèn)題，并完善生成的邏輯形式，使問(wèn)題表達(dá)更多樣化和流利。

排行榜。為了展示這些KBQA基準(zhǔn)數(shù)據(jù)集中的最新研究進(jìn)展，我們提供了一個(gè)排行榜，包括基于信息檢索（IR-based）方法和基于句法分析（SP-based）方法的前三名KBQA系統(tǒng)。為了進(jìn)行公平比較，結(jié)果選擇遵循以下三個(gè)原則：1）如果一個(gè)數(shù)據(jù)集有官方排行榜，我們只參考排行榜上列出的公共結(jié)果。2）否則，我們從在2022年3月之前正式被會(huì)議或期刊接受的已發(fā)表論文中選擇前三名結(jié)果。3）此外，我們保持每個(gè)數(shù)據(jù)集的實(shí)驗(yàn)設(shè)置與其他數(shù)據(jù)集一致。特殊情況下，我們不報(bào)告QALD系列的結(jié)果以便更簡(jiǎn)潔顯示，因?yàn)樗鼈冇卸鄠€(gè)不同版本，而且我們只報(bào)告MetaQA Vanilla的3-hop拆分，因?yàn)檫@比1-hop和2-hop拆分更具挑戰(zhàn)性。對(duì)于LC-QuAD 2.0，我們選擇了Zou等人報(bào)告的結(jié)果。如果根據(jù)上述原則沒有足夠的結(jié)果，我們將留空。對(duì)于所有基準(zhǔn)數(shù)據(jù)集上KBQA方法的更全面評(píng)估，請(qǐng)參考我們的附帶頁(yè)面。

在上文提到的文中，"LF" 表示數(shù)據(jù)集是否提供類似SPARQL的邏輯形式（Logic Forms），"CO" 表示數(shù)據(jù)集是否包含帶有約束的問(wèn)題（COnstraints），"NL" 代表數(shù)據(jù)集是否將眾包工作者用于重寫自然語(yǔ)言問(wèn)題（Natural Language），"NU" 表示數(shù)據(jù)集是否包含需要數(shù)值操作的問(wèn)題（NUmerical operations）。通常，基于SP的方法采用F1分?jǐn)?shù)作為評(píng)估指標(biāo)，而基于IR的方法采用Hits@1（準(zhǔn)確性）作為評(píng)估指標(biāo)。符號(hào) 三角形 和 心形 分別表示Hits@1（準(zhǔn)確性）和F1分?jǐn)?shù)的評(píng)估指標(biāo)。

分析與討論。根據(jù)表1，我們有以下觀察：（1）基于句法分析（SP-based）和基于信息檢索（IR-based）的方法都被開發(fā)來(lái)處理復(fù)雜的KBQA挑戰(zhàn)，對(duì)于哪一類更好并沒有絕對(duì)一致的看法。 （2）盡管SP-based方法涵蓋了大多數(shù)基準(zhǔn)數(shù)據(jù)集，但I(xiàn)R-based方法側(cè)重于主要由多跳問(wèn)題組成的基準(zhǔn)數(shù)據(jù)集。 SP-based方法更常用于回答復(fù)雜問(wèn)題的原因可能是它們生成靈活且富有表現(xiàn)力的邏輯形式，能夠涵蓋所有類型的問(wèn)題（例如布爾型、比較型等）。 （3）我們還觀察到，在每個(gè)類別中，表現(xiàn)出色的方法通常都配備了先進(jìn)的技術(shù)。排行榜上的SP-based方法利用強(qiáng)大的問(wèn)題編碼器（例如PLMs）來(lái)幫助理解問(wèn)題，使用富有表現(xiàn)力的邏輯形式來(lái)解析復(fù)雜查詢。對(duì)于IR-based方法，大多數(shù)最新方法在問(wèn)題表示模塊中采用逐步動(dòng)態(tài)指令，并使用關(guān)系路徑建模或基于圖神經(jīng)網(wǎng)絡(luò)（GNN）的推理進(jìn)行多步推理。

最近趨勢(shì)

在這一部分，我們討論了復(fù)雜的知識(shí)庫(kù)問(wèn)答（KBQA）任務(wù)的幾個(gè)有前景的未來(lái)方向：

進(jìn)化型KBQA系統(tǒng)：現(xiàn)有的KBQA系統(tǒng)通常在離線情況下使用特定數(shù)據(jù)集進(jìn)行訓(xùn)練，然后在線部署以處理用戶查詢。然而，大多數(shù)現(xiàn)有的KBQA系統(tǒng)忽視了從部署后接收的失敗案例或未見問(wèn)題模板中學(xué)習(xí)的機(jī)會(huì)。與此同時(shí)，大多數(shù)現(xiàn)有的KBQA系統(tǒng)無(wú)法跟上世界知識(shí)的快速增長(zhǎng)，無(wú)法回答新的問(wèn)題。因此，在線用戶交互可能為已部署的KBQA系統(tǒng)提供進(jìn)一步改進(jìn)的機(jī)會(huì)。一些工作利用用戶反饋來(lái)更正KBQA系統(tǒng)生成的答案，并進(jìn)一步改進(jìn)系統(tǒng)。通過(guò)用戶反饋，Abujabal等人提出了一個(gè)連續(xù)學(xué)習(xí)框架，以學(xué)習(xí)捕捉以前未見的句法結(jié)構(gòu)的新模板。除了增加模型的模板庫(kù)，用戶反饋還可以用于澄清模糊問(wèn)題（例如，模糊短語(yǔ)或模糊實(shí)體）。這些方法為構(gòu)建具有用戶反饋的進(jìn)化型KBQA系統(tǒng)提供了一個(gè)初始探索。這種方法是有效和實(shí)用的（即可接受的用戶認(rèn)知負(fù)擔(dān)和運(yùn)行成本），可以滿足工業(yè)需求。由于KBQA系統(tǒng)的廣泛應(yīng)用，更多與KBQA系統(tǒng)的用戶交互的工作和設(shè)計(jì)亟需研究。

魯棒的KBQA系統(tǒng)：現(xiàn)有的KBQA研究通常在理想假設(shè)下進(jìn)行，即訓(xùn)練數(shù)據(jù)足夠且其分布與測(cè)試集相同。然而，由于數(shù)據(jù)不足和潛在的數(shù)據(jù)分布偏差，這在實(shí)踐中可能并不理想。為了在資源有限的情況下訓(xùn)練魯棒的KBQA系統(tǒng)，研究人員已經(jīng)探索了元學(xué)習(xí)技術(shù)和從高資源場(chǎng)景中的知識(shí)傳遞等方法。我們還強(qiáng)調(diào)了PLMs在資源有限培訓(xùn)和跨任務(wù)泛化方面的潛在影響。由于手動(dòng)注釋KBQA系統(tǒng)的成本高昂，需要更多關(guān)于在資源有限情況下訓(xùn)練魯棒KBQA系統(tǒng)的研究。同時(shí)，盡管現(xiàn)有方法通常持有i.i.d.假設(shè)，但它們可能很容易無(wú)法處理KBQA的分布之外（OOD）問(wèn)題。通過(guò)對(duì)GrailQA數(shù)據(jù)集的系統(tǒng)評(píng)估，Gu等人指出，現(xiàn)有的基線方法容易受到組合挑戰(zhàn)的影響。為了提高更高級(jí)別的魯棒性，研究人員可以通過(guò)解決Gu等人提出的三個(gè)泛化級(jí)別（即i.i.d.、組合和零-shot）來(lái)獲得更多見解。在復(fù)雜KBQA任務(wù)上，魯棒性的研究工作很少。構(gòu)建具有更強(qiáng)泛化能力的魯棒KBQA系統(tǒng)仍然是一個(gè)開放性問(wèn)題。

對(duì)話式KBQA系統(tǒng)：近幾十年來(lái)，AI驅(qū)動(dòng)的應(yīng)用程序（例如搜索引擎和個(gè)人助手）的快速發(fā)展，被用來(lái)回答事實(shí)性問(wèn)題。由于用戶通常會(huì)提出跟進(jìn)問(wèn)題來(lái)探索一個(gè)主題，因此部署的模型應(yīng)該以對(duì)話方式處理KBQA任務(wù)。在對(duì)話式KBQA的初步探索中，一些工作集中關(guān)注了由指代和省略現(xiàn)象引起的模糊性和困難。為了跟蹤對(duì)話式KBQA的焦點(diǎn)，Lan等人提出通過(guò)實(shí)體轉(zhuǎn)換圖來(lái)建模焦點(diǎn)的流動(dòng)。為了全面理解對(duì)話上下文，Plepi等人利用了Transformer架構(gòu)，將上一輪對(duì)話歷史作為輸入。盡管這些研究解決了一些對(duì)話式KBQA的挑戰(zhàn)，但距離實(shí)現(xiàn)人類水平的性能還有很遠(yuǎn)。在未來(lái)的研究中，需要識(shí)別和解決更多關(guān)鍵挑戰(zhàn)。迄今為止，對(duì)話式KBQA是一個(gè)相對(duì)新的和具有挑戰(zhàn)性的任務(wù)，在未來(lái)的搜索引擎和智能個(gè)人助手中可能發(fā)揮重要作用。

神經(jīng)符號(hào)KBQA系統(tǒng)：盡管一些最近的工作提出了將KBQA系統(tǒng)配備神經(jīng)符號(hào)推理（NSR）技術(shù)的想法，但這種強(qiáng)大范式的潛力尚未得到徹底探索。例如，盡管已經(jīng)證明神經(jīng)網(wǎng)絡(luò)在KB上進(jìn)行多跳推理方面是有效的，但這種神經(jīng)模塊無(wú)法明確考慮邏輯操作（例如數(shù)值操作和布爾操作）。為了在保持神經(jīng)網(wǎng)絡(luò)在推理中的強(qiáng)大功能的同時(shí)彌補(bǔ)這些缺點(diǎn)，可以引入一個(gè)與現(xiàn)有神經(jīng)推理模塊相結(jié)合的符號(hào)模塊。神經(jīng)編程的一些實(shí)踐已經(jīng)證明了這可以有效地賦予黑盒神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)和邏輯推理能力。總的來(lái)說(shuō)，研究人員欣賞基于句法分析方法的可解釋性（即根據(jù)語(yǔ)法規(guī)則生成邏輯形式）和基于信息檢索方法的強(qiáng)大性（即使用神經(jīng)網(wǎng)絡(luò)進(jìn)行子圖的精確推理）。基于句法分析和基于信息檢索方法都可以統(tǒng)一為神經(jīng)符號(hào)推理范式。因此，NSR提供了統(tǒng)一這兩類方法并匯集它們優(yōu)勢(shì)的潛在途徑，值得進(jìn)一步研究。

更廣泛的知識(shí)庫(kù)：由于知識(shí)庫(kù)的不完整性，研究人員將額外的信息（如文本、圖像和人際交互）合并到知識(shí)庫(kù)中，以補(bǔ)充知識(shí)庫(kù)的信息，進(jìn)一步解決復(fù)雜KBQA任務(wù)的信息需求。由于文本語(yǔ)料庫(kù)在語(yǔ)義上豐富且易于收集，研究人員被從文本語(yǔ)料庫(kù)中提取知識(shí)并使用提取的知識(shí)來(lái)回答問(wèn)題的想法所吸引。研究人員已經(jīng)探索了從文本語(yǔ)料庫(kù)中獲得的各種形式的知識(shí)，例如傳統(tǒng)的關(guān)系三元組、以鍵值內(nèi)存存儲(chǔ)的虛擬知識(shí)庫(kù)（VKB）以及PLMs作為隱式知識(shí)庫(kù)。通過(guò)這些精心設(shè)計(jì)，可以獲得更靈活和補(bǔ)充性的知識(shí)，以解決復(fù)雜的KBQA任務(wù)。最近的一個(gè)趨勢(shì)是使用通用架構(gòu)統(tǒng)一類似任務(wù)，并實(shí)現(xiàn)跨任務(wù)知識(shí)轉(zhuǎn)移。在未來(lái)，可能會(huì)探索更多與通用知識(shí)庫(kù)相關(guān)的任務(wù)，如合成、多語(yǔ)言和多模式知識(shí)庫(kù)。