QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering
https://arxiv.org/abs/2104.06378????????????https://github.com/michiyasunaga/qagnn
M Yasunaga, H Ren, A Bosselut, P Liang, J Leskovec????[Stanford University]
13 April, 2021????????NAACL 2021
用來自預訓練語言模型(LM)和知識圖譜(KG)的知識回答問題，存在兩個主要挑戰：給定一個QA的上下文(問題和答案選擇)，需要從大型知識圖譜中識別相關知識，并對QA上下文和知識圖譜進行聯合推理。本文提出一種新的端到端問答LM+KG模型QA-GNN，通過兩個關鍵創新來解決以上挑戰：相關性評分，用語言模型估計知識圖譜節點相對于給定QA上下文的重要性，提出了對知識圖譜上信息進行加權的通用框架；聯合推理，將QA上下文和知識圖譜連接起來形成一個聯合圖，成為工作圖，將兩個模態統一為一個圖，用基于注意力的GNN模塊進行推理，通過基于圖的消息傳遞交互更新它們的表示。在CommonsenseQA和OpenBookQA數據集上對QA-GNN進行了評價，展示了它比現有語言模型和語言模型+知識圖譜模型的改進，QA-GNN在某些形式的結構化推理上表現出了更高的性能(例如，正確處理問題中的否定和實體替換)。
