這篇綜述文章是發表在知網上的一篇關于知識圖譜技術中的關系抽取技術，記得看過一句話，如果要想了解一個新的領域，那么就看文獻就要從綜述下手，從而了解整個領域的全貌。這里就要根據個人興趣攻其一點，在讀研期間發上1-2篇C刊的論文就好，這段研究生經歷也就圓滿了。

進入正題。

題目：

關系抽取綜述

作者：

謝鵬德，常青

關鍵詞：

關系抽取; 有監督方法; 無監督方法; 半監督方法; 遠程監督; 神經網絡; 聯合抽取;

摘要：

關系抽取任務作為信息抽取的基本組成之一，在很多領域具有十分重要的地位。關系抽取發展至今，總體可以分為基于規則的抽取方式和基于統計方式的抽取；之后出現的眾多方法大多是以統計為主，輔助以規則。后來引入了包括遠程監督、深度學習等模式并融合了注意力機制、多標簽多實例方法。

引言：

• 背景：伴隨著互聯網技術的不斷發展，網絡資源也呈現出爆炸式地飛速增長，出現更多的是半結構化和非結構化的數據資源。
• 研究內容：關系抽取作為信息抽取的子任務之一。信息抽取的主要研究內容是如何低成本地從復雜、多源分散和冗余異構的數據中提取出高質量的、結構化的可利用數據。
• 技術介紹：關系抽取包括實體抽取以及其關系抽取兩部分。主要是從文本中抽取出實體1和實體2及其兩者之間的關系類型，表示為類似于〈實體1，關系類型，實體2〉的結構化形式。
  • 現在主流的抽取方法可以細分為：
    • 基于監督的方式
    • 基于半監督的方式
    • 無監督方式
    • 遠程監督
    • 面向開放域的關系抽取
• 趨勢：深度學習方法加入之后逐漸替代傳統機器學習方法成為研究的熱點和主流。
• 應用：關系抽取在諸多領域都具有重要的應用價值，包括語義理解、推薦檢索、機器翻譯和智能問答等服務，關系抽取都作為基礎數據提供的手段。伴隨著知識圖譜研究和應用的盛行，關系抽取作為對圖譜構建最終的生成質量具有舉足輕重影響的基本和核心環節也是備受關注，吸引大批的學者和研究者參與其中，很多引入和融合的新方法和模型也就此產生。

正文：

1.產生發展:

• 1998:第七屆信息理解會議（messageunderstanding conference，MUC）上，首次提出了模板抽取的任務，這在后來發展成為關系抽取。在MUC-7會議上提出的關系抽取任務主要針對人物（persons）、地理位置locations）和產品（artifacts）的模板類型[1]，評測的語料內容主要來源于紐約時報對飛機事故和航天發射相關的新聞報道，并且設計了抽取結果的評價體系。
• 1999:美國國家技術研究院(NationalInstitute ofStandards andTechnology,NIST)召開的自動內容抽取會議(automatic content extraction,ACE)取代了之前的MUC會議，并且對關系抽取評測的任務和訓練材料進行了融合拓展和細化完善[2]。
• 2002:第三屆會議正式加入了實體關系發現和識別任務(relation detection and recognition, RDR)。
• 2008:ACE會議正式將關系抽取任務劃分為七種類型。
• 2009:ACE正式納入文本分析會議(text analysis conference,TAC)，成為知識庫總體（knowledge base population,KBP）任務的重要組成部分[3]。后期出現的語義評估(semantic evaluation,SemEval)會議SemEval-2007的評測任務4中設置了七種常用名詞和名詞短語間的實體關系，在SemEval-2010評測任務8中將實體關系類型擴充到了10種[4]。

以上提到的包含關系抽取研究的會議極大地推動了其發展，但是它們所發布的評測語料對于人工標注的依賴性較大。這類語料庫耗費大量人力進行手工的模板和規則的編寫及訓練語料的標注，雖然質量有所保證，卻無法提供大規模材料，并且領域適應性和后期擴充性很差。后來包括維基百科、

DBpedia和Freebase等大規模事實知識庫出現后，為標注語料提供大量的語料支持，使得開放域關系抽取成為可能，并使其具有在跨領域性和規模性方面的先天優勢。

2.研究現狀：

• 關系抽取作為信息抽取的重要子任務，國內前期的相關研究起步較晚，后期包括中國科學院、清華大學、北京大學等諸多科研院所在推動其研究發展上作出重要工作。
• 在實現方式上，根據對于人工標注數據的依賴性可以細分為基于監督的方式、基于半監督的方式、無監督方式和面向開放域的抽取。后期又出現遠程監督方式，深度學習逐漸火熱和成熟之后也被應用到關系抽取之中，取得相比傳統機器學習方法更加優秀的效果。
  • 2.1有監督的關系抽取:以較高的準確率成為目前業界廣泛應用的方式。
    • 方法：其主要是利用分類的思想根據已有的人工標注數據進行模型的訓練，然后進行特定關系的匹配識別和抽取工作。監督方式主要分為兩大方法體系，分別是基于特征向量（feature-based）的方法和基于核函數（kernel-based）的方法。

      • 基于特征向量（feature-based）的方法:通過從句子上下文中提取出包括句法和語法等特征信息去構造特征向量，進而利用特征向量的相似度訓練實體關系識別模型，完成實體關系識別和抽取。

        • 相關研究工作：

          1. Kambhatla[5]利用最大熵分類器構建抽取模型，通過加入文本特征，可以使用很少的詞匯特征達到不錯的效果，從而降低對于語義特征提取樹的依賴，模型在ACE RDC 2003英文語料上的關系抽取的F值為52.8％。很多基于特征向量的方法借助于傳統機器學習實現，并且對特征的選取有很大增益。

          2.Giuliano等人[6]基于SemEval-2007的評測材料，通過實體上下文、距離等特征，借助支持向量機（support vectormachine，SVM）模型實現71.8%F值的抽取效果。

          3.Tratz等人[7]利用最大熵分類方法在SemEval-2010評測語料上實現抽取效果F值為77.57%。

          4.Culotta等人[8]使用條件隨機場的分類方法借助帶有默認正則化參數的MALLET CRF實現關系抽取，取得了不錯的效果。

        • 缺點和不足：雖然基于特征向量的抽取方法效果良好，但是作為模型基礎的特征在選擇和設置上更多依靠構建者的直覺和經驗。

      • 基于核函數(kernel-function)的方法:針對對于上下文信息利用不足，于是提出可以較好地利用語料中的長距離特征和結構化特征的函數方法，在這一層面進行了彌補。

        • 相關研究工作：
          1.Zelenko等人[9.10]引入基于核函數的關系抽取方法，通過核函數實現從低維向高維空間的映射，從而可以將非線性問題作為線性問題處理。Zelenko等人[9]提出使用淺層解析樹核結合支持向量機從文本中提取人—隸屬關系和組織—位置關系。
          2.Culotta等人[11]使用依存樹核對新聞文章自動內容抽取(ACE)語料庫中實體之間的關系進行了檢測和分類，并且測試了詞性和實體類型不同特性的效用，證實依賴樹內核比“詞袋”核實現了20% F1的改進。
          3.Bunescu等人[12]觀察到依賴關系圖中兩個實體之間的最短路徑可查找到實體關系，所以利用最短依存樹核進行改進。
          4.Zhang等人[13]提出基于解析樹的卷積核對句法結構信息建模，實現關系提取的方法。
          5.莊成龍等人[14]通過在原關系實例的結構化信息中增添實體語義信息并篩除冗余信息的方法來提高關系抽取的性能，在ACE RDC 2004基準語料上進行的關系檢測，F值達到了79.1%。

        • 缺點與不足：總體上，基于核函數的方法由于匹配計算時的較強約束容易出現召回率較低的現象，并且模型訓練和預測的時間復雜度較高。

      • 2.2半監督的關系抽取：

        • 方法：根據預先設計好的關系類型，通過人工添加合適的實體對作為種子。利用模式學習方法進行不斷迭代學習，最終生成關系數據集和序列模式，在一定程度上降低了對于人工標注語料的依賴。
        • 相關研究工作：
          1.最常用途徑是基于Bootstrapping方法實現。這是由Brin[15]首先應用在關系抽取任務中，并建立了DIPRE系統，他以少量的書名及作者名作為種子實體關系對，從文檔和語句中抽取新的實例并作為標注樣本，根據標注樣本建立新的抽取模板。利用建立的模板發現新的實體對關系并加入其中，期間不斷調整和迭代。
          2.Agichtein等人[16]設計的Snowball方法是在1.的基礎上推出的，主要改進是使用向量表示實體及實體關系的元組，通過向量的相似度來發現和迭代增大標注樣本。在每次迭代提取的過程中，模型在不受人工干預的情況下評估這些模式和元組的質量，并且只保留其中最可靠的部分以提升整體質量。
          3.陳錦秀等人[17]利用圖策略建立基于圖的半監督抽取模型，實現關系抽取性能的提升。
        • 缺點與不足：
          • 降低了關系抽取對于人工標注數據的依賴性，只需要人工進行最初種子集的構造，但是對種子集的質量要求較高，并且建立和優化相對繁瑣的模板對于最終的抽取效果至關重要。
          • 這種方式普遍存在噪聲實例及模板引入問題，進而在不斷迭代過程中造成語義漂移的現象；
          • 且此類方法雖準確率有所提高，但是召回率普遍不高。

      • 2.3無監督的關系抽取:

        • 方法：無監督的方法屬于一種自底向上的抽取方式。通過先抽取實體及關系，進行大規模的冗余語料聚類，再對聚類集合進行關系標注。
        • 相關研究工作:
          1.Hasegawa等人[18]首次應用無監督方式進行關系抽取，通過設置重復出現閾值識別潛在語義關系并聚類，實現抽取結果F值達到75%。
          2.Shinyama等人[19]基于多層級聚類的無監督方法，使用了12家主要在美國出版的報道文章進行實驗。
          3.Hassan等人[20]提出了一種基于大數據集冗余和圖相互增強的無監督信息提取方法，并采用從語料庫中的POSn-gram獲取關系提取模式。但是由于采用n-gram，這種模式只包含POS和實體類型標記，導致n-gram數量的組合激增。
          4.Gonzalez等人[21]提出一種新的基于概率聚類模型的無監督方式關系提取方法，該方法得到的F1值為55.7。
          5.Rozenfeld等人[22]建立的URIES是一個Web關系提取系統，通過對目標關系及其屬性的簡短描述，從未標記的文本中進行模式提取。
        • 缺點與不足：
          • 無監督抽取方式雖然對人工標注的語料依賴性降低，并且多領域適應性強，領域遷移障礙小，特別在多領域知識雜糅的大規模文本中相比其他有監督和半監督方法更是優勢明顯。
          • 但是無監督方法總體上關系標注較為寬泛，因為缺乏必要的語料庫，導致低頻實例抽取率低，最終識別的準確率和召回率也一般不高，在抽取評價標準上也難以量化和統一。

      • 2.4面向開放域的關系抽取：面向開放域的關系抽取不限定關系類別和目標文本，在跨領域和后期擴充上具有無法比擬的優勢。

        • 方法：開放式關系抽取默認同一實體對都存在已知的關系，通過前后相鄰的短語進行實體關系上的語義表達，借助外部大型實體知識庫包括DBPedia、YAGO、FreeBase和其他領域知識庫，將置信度較高的實體關系與大規模的訓練數據進行匹配對齊，以獲得大量訓練數據。
        • 相關研究工作：
          1.Etzioni等人[23]搭建KnowItAll模型，通過人工編寫規則模板從web中進行無監督的、獨立于領域和面向可伸縮的大量事實(如科學家或政治家的姓名)地自動化匹配。模型中每個規則由謂詞、提取模式、約束和關鍵字組成，進而借助簡單的語法分析抽取實體關系。
          2.Banko等人[24]通過構建TextRunner模型，從Web中抽取包含用戶輸入的特定謂詞的元組，模型包括三個關鍵模塊：自我監督學習器對輸入的小語料庫樣本進行處理，輸出分類器對候選提取置信度的標記；單通道提取器利用整個語料庫從每個句子生成一個或多個候選元組，進而得到所有可能的元組，保留標記為可信的元組；冗余評估器依據文本中的冗余概率模型為每個保留的元組分配概率。整個過程不需要人工進行標注，降低工作量，但是依舊存在召回率不高的問題。

      • 2.5應用遠程監督方法的關系抽取：后來的研究著力點主要集中在如何降低對于人工標注語料庫的依賴性，增強領域遷移性上。

        • 方法：遠程監督方法主要通過知識庫與非結構化文本對齊來自動構建大量訓練數據，減少模型對人工標注數據的依賴，增強模型跨領域適應能力。
        • 相關工作研究：
          1.Mintz等人[25]在文本處理中嘗試借用遠程監督方法，假設若文本中的實體對和知識庫的實體對完全一致，就標注它們具有同樣的關系。該方法通過對齊語料庫和文本自動生成訓練樣例，從而提取特征訓練分類器，降低對于人工標注材料的依賴；但是知識庫中事先標注的實體關系是不完備的，所以過于簡易和強烈的假設極易引入錯誤。遠程監督方法主要通過知識庫與非結構化文本對齊來自動構建大量訓練數據，減少模型對人工標注數據的依賴，增強模型跨領域適應能力。
          2.為了改善遠程監督單標簽過強假設的問題，Surdeanu等人[26]又進一步提出基于概率圖模型的多標簽多實例的抽取方式，并引入詞袋（word bag）模型，通過提升標注級別，將原本實體對級的標注改變為對多詞形成的詞袋進行標注以降低錯誤率。

      • 2.6基于深度學習的關系抽取：以上方法都借助傳統的自然語言處理工具，但是工具本身也是很容易引入錯誤，經過這些工具處理后的結果降低了接下來的算法性能。

        • 方法：考慮到語音、圖像和文本處理肌理的相通性，當深度學習方法在圖像領域嶄露頭角時，很多人嘗試引入深度學習方法到關系抽取中，發揮其在特征提取和自動學習上的優勢，并且將SemEval-2010 task 8[27]作為測試標準。
        • 相關工作研究：
          1.Socher等人[28]通過使用遞歸神經網絡（recurrent neuralnetworks，RNN）模型，在句法樹的節點上設置向量和矩陣，對命題邏輯和自然語言中算子的含義學習，從而得到多種句法類型和不同長度短語和句子的向量化表示。模型在SemEval-2010 Task 8數據庫上實現F值為82.2%的抽取效果。
          2.Hashimoto等人[29]在網絡分類器中加入詞嵌入方法，從語料庫中抽取出實體對上下文特征信息，基于同樣的數據庫實現小幅度提升。
          3.遞歸神經網絡關注于語義的結構信息，但為獲得這一信息需要依賴于傳統自然語言處理工具，傳統自然語言處理（natural language processing，NLP）工具噪聲引入的弊端再次顯露。于是Zeng等人[30]利用卷積神經網絡（convolutionalneural networks,CNN）提取詞匯和句子的層次特征進行關系抽取，減少輸入材料復雜的預先標記處理。
          4.Nguyen等人[31]在此工作的基礎上向卷積層中加入了多尺寸的卷積核作為過濾器，以此提取更多的N-Gram特征，并且使用了位置向量，證實了多尺寸卷積神經網絡在關系抽取中的有效性。
          5.Lin等人[32]引入PCNN（piecewise CNN），對傳統卷積神經網絡的池化層進行改進，通過兩個實體位置將feature map分為三段進行池化，其目的是更好地捕獲兩個實體間的結構化信息，并使用注意力機制，通過建立句子級選擇性注意神經模型減輕錯誤標簽問題，最終F結果比基于多示例學習的機器學習方法高了5個百分點。
          6.Zhou等人[33]使用BLSTM（bidirectional long-short term memory）對句子建模，并使用word級別的attention機制提升結果。
          7.萬靜等人[34]利用雙向GRU和PCNN方法實現實體結構和更多特征信息的提取，在NYT數據集上不錯效果。
          8.Cai等人[35]提出了基于最短依賴路徑（shortest pathdependence，SDP）的深度學習關系分類模型，稱為雙向遞歸卷積神經網絡模型（BRCNN）。使用SemEval-2010 Task 8數據集，在關系分類任務中，實現了F值高達86.3%的抽取效果。
          9.2017年，Lin等人[36]又嘗試通過擴展到多語言語料庫上，利用多語言語料信息的互補性和一致性提升抽取性能，這在多語言共存的文檔中效果顯著。
          10.但是以上的所有關系抽取方法都將其分解為實體抽取（named entity recognition，NER）和關系抽取(relationextraction，RE)兩個依次進行的步驟。這種分割忽略子任務間的關系，容易產生冗余信息，于是端到端方式的聯合抽取被提出。在同一個模型中抽取出實體及其之間關系類型，實現參數共享、同步優化，降低之前流水式抽取出現錯誤累積的可能性。Zheng等人[37]利用共享神經網絡底層表達進行聯合學習。
          11.Miwa等人[38]同樣通過參數共享NER使用一個神經網絡進行解碼，在RC上加入了依存信息，根據依存樹最短路徑使用一個BiLSTM來進行關系分類。
          12.Li等人[39]提出了增量集束搜索算法的聯合結構化抽取方式和利用全局特征的約束方法，在ACE語料上比傳統的流水線方法F值提升了1.5%。
          13.Zheng等人[40]使用了更加高效的偏置目標函數和一種新的標注策略，把原來涉及到序列標注任務和分類任務的關系抽取完全變成了一個序列標注問題，通過一個端對端的神經網絡模型直接得到關系實體三元組。

3.評價指標：

這套關系抽取工作的最終效果評價體系是在ACE會議上提出，以準確率（precision)、召回率(recall)進行衡量，但是準確率和召回率在一定程度上過于偏重評測抽取的單方面效果，于是引入F值，綜合衡量抽取的結果。
三者的計算公式為：

image.png

4.挑戰與趨勢：

• 總體：關系抽取在領域自適應性和召回率層面仍有提升空間。
• 挑戰與趨勢1：借助已有的知識庫并挖掘深度學習語義表示和自主學習能力，自動從訓練數據中學習分類特征、自主進行語料擴充，進而增強領域的遷移性，減少對于人工標注語料的依賴。因此弱監督包括遠程監督方式應該是研究和應用的方向之一，但是目前遠程監督的錯誤標注噪聲引入問題一直存在，雖通過多標簽多實例方式進行改善，但是仍有提升空間。
• 挑戰與趨勢2： 并且現階段的關系抽取大多集中在詞匯、語句級別的實體間關系，很少擴大到段落甚至篇章級別的關系抽取，但是大量的代詞在文段中需要依靠上下文信息，甚至段落篇章級進行語義理解，指代詞在語義上和名詞實體的等價關系應充分利用。通過共指消解處理結果的引入，更好地進行實體之間等價關系和非等價關系的融合，也可以進一步推理出長文檔或者多文檔實體之間存在的間接和潛在關系，借助簡單推理實現長距離關系抽取，進一步提升關系抽取的召回率。
• 挑戰與趨勢3：現在關系抽取的主流方式是二元關系抽取，即使是多元實體關系仍將其作為二元實體關系進行處理。但是現實世界中實體之間的三元甚至多元關系廣泛存在，將二元抽取方法延伸至多元抽取，發現潛在實體關系、多元實體關系、多層次關系將會對實際應用產生巨大影響。

參考文獻

[1]劉紹毓.實體關系抽取關鍵技術研究[D].鄭州:解放軍信息工程大學, 2015. (Liu Shaoyu. Research on key technologies for entityrelation extraction [D].Zhengzhou: PLA Information EngineeringUniversity, 2015.)
[2]張素香.信息抽取中關鍵技術的研究[D].北京:北京郵電大學,2007. (Zhang Suxiang. Researchon key technologiesof the informstionextraction [D]. Beijing: Beijing University of Posts andTelecommunications, 2007.)
[3]Doddington G R, Mitchell A, Przybocki M A,et al.Theautomatic content extraction (ACE)program-tasks, data, and evaluation [C]//ProcofLREC. 2004.
[4]Hendrickx I, Kim S N, Kozareva Z,et al.Semeval-2010 task 8:Multi-way classification of semantic relation between pairs of nominal[C]// ProcofKorkshop on Semantic Evaluations: Recent Achievementsand Future Directions. 2009: 94-99.
[5]Kambhatla N. Combining lexical, syntactic, and semantic features with maximum entropy models for extracting relations [C]// ProcofACLonInteractivePoster andDemonstrationSessions.Stroudsburg, PA:Association for Computational Linguistics, 2004: 22-26.
[6]Giuliano C, Lavelli A, Pighin D,et al.FBK-IRST:kernel methods for semantic relation extraction [C]// Procof the 4th InternationalWorkshop on Semantic Evaluations.Stroudsburg, PA:Association for Computational Linguistics, 2007: 141-144.
[7]Tratz S, Hovy E. Isi:automatic classification of relations between nominals using a maximum entropy classifier [C]// Procof the 5thInternational Workshop on Semantic Evaluation.Stroudsburg, PA:Association forComputational Linguistics, 2010: 222-225.
[8]Culotta A, Mccallum A, Betz J.Integrating probabilistic extraction models and data mining to discover relations and patterns in text [C]//ProcofMain Conference on Human Language Technology Conferenceof the North American Chapter of the Association of ComputationalLinguistics.Stroudsburg, PA:Associationfor ComputationalLinguistics, 2006: 296-303.
[9]Zelenko D, Aone C, Richardella A. Kernel methods for relation extraction [J]. Journal of Machine Learning Research, 2003, 3(3):1083-1106.
[10]Zhao Shubin, Grishman R.Extracting relations with integrated information using kernel methods [C]// Procof the 43rdAnnualMeeting onAssociation forComputationalLinguistics.Stroudsburg, PA:Association for ComputationalLinguistics, 2005: 419-426.
[11]Culotta A, Sorensen J. Dependency tree kernels for relation extraction [C]// Procof the 42nd Annual Meeting on Association forComputational Linguistics.Stroudsburg, PA:Association for Computational Linguistics, 2004: 423.
[12]Bunescu R C, Mooney R J. A shortest pathdependency kernel for relation extraction [C]// ProcofConferenceonHumanLanguageTechnology andEmpiricalMethods inNaturalLanguageProcessing.Stroudsburg, PA:Association for Computational Linguistics, 2005:724-731.
[13]Zhang Min, Zhang Jie, Su Jian.Exploring syntactic features for relation extraction using a convolution tree kernel [C]// ProcofMainConference on Human Language Technology Conference of the NorthAmerican Chapter of the Association of Computational Linguistics.Stroudsburg, PA:Association for Computational Linguistics, 2006:288-295.
[14]莊成龍,錢龍華,周國棟.基于樹核函數的實體語義關系抽取方法研究[J].中文信息學報, 2009, 23(1): 3-9. (Zhuang Chenglong, QianLonghua, Zhou Guodong. Research ontree kernel based entity semanticrelation extraction [J]. Journal of Chinese Information Processing, 2009,23(1): 3-9. )
[15]Brin S. Extracting patterns and relations from the World Wide Web [J]. Lecture Notes in ComputerScience, 1998, 1590: 172-183.
[16]Agichtein E, Gravano L. Snowball:extracting relations from large plain-text collections [C]//Proc ofACM Conference on DigitalLibraries.New York:ACMPress, 2000: 85-94.
[17]陳錦秀,姬東鴻.基于圖的半監督關系抽取[J].軟件學報, 2008 (11): 2843-2852. (Chen Jinxiu, Ji Donghong. Graph-basedsemi-supervised relation extraction [J]. Journal of Software,2008(11):2843-2852. )
[18]Hasegawa T, Sekine S, Grishman R. Discovering relations among named entities from large corpora[C]// Procof the 42nd AnnualMeeting on Association for ComputationalStroudsburg, PA:Linguistics.Association for Computational Linguistics, 2004: 415-422.
[19]Shinyama Y, Sekine S. Preemptive information extraction using unrestricted relation discovery [C]// ProcofMainConference onHuman Language Technology Conference of the North AmericanChapter of the Association of Computational Linguistics.Stroudsburg,PA:Association for Computational Linguistics, 2006:304-311.
[20]Hassan H, Hassan A, Emam O, Unsupervised informationextraction approach using graph mutual reinforcement [C]//ProcofConference onEmpirical Methods in Natural Language Processing.2006: 501-508.
[21]Gonzalez E, Turmo J. Unsupervised relation extraction by massive clustering [C]//Proc of the9th IEEE International Conference on DataMining.Piscataway, NJ: IEEE Press,2009: 782-787.
[22]Rozenfeld B, Feldman R. High-performanceunsupervised relation extraction from large corpora [C]//Proc of the6th InternationalConference on Data Mining.Piscataway, NJ: IEEE Press,2006:1032-1037.
[23]Etzioni O, Cafarella M,Downey D,et al.Unsupervised named-entity extraction from theWeb:anexperimental study [J]. Artificialintelligence, 2005, 165(1): 91-134.
[24]Banko M, Cafarella M J, Soderland S,et al.Open information extraction from theWeb [C]//Procof the 20thInternationalJointConference on ArtificalIntelligence.San Francisco, CA:MorganKaufmann Publishers Inc2007: 2670-2676.
[25]Mintz M, Bills S, Snow R,et al.Distant supervision for relation extraction without labeled data [C]// Procofthe 47thJoint ConferenceofAnnual Meetingof the ACL and the 4th International JointConference on Natural Language Processing of the AFNLP.Stroudsburg, PA:Association for Computational Linguistics, 2009:1003-1011.
[26]Surdeanu M, Tibshirani J, Nallapati R,et al.Multi-instance multi-label learning for relation extraction [C]// ProcofJointConference onEmpiricalMethods inNaturalLAnguageProcessing andComputationalNaturalLanguageLearning.Stroudsburg, PA:Association forComputational Linguistics, 2012: 455-465.
[27]Hendrickx I, Kim S N, Kozareva Z,et al.Semeval-2010 task 8: multi-way classification of semantic relations between pairs ofnominals [C]// ProcofWorkshop on Semantic Evaluations: RecentAchievements and Future Directions.Stroudsburg, PA:Association forComputational Linguistics,2009: 94-99.
[28]Socher R, Huval B, Manning CD,et al.Semantic compositionality through recursive matrix-vector spaces [C]// ProcofJoint Conferenceon Empirical Methods in Natural LanguageProcessing andComputational Natural Language Learning.Stroudsburg, PA:Association for Computational Linguistics, 2012: 1201-1211.
[29]Hashimoto K, Stenetorp P, Miwa M,et al.Task-oriented learning of word embeddings for semantic relation classification [C]// Procof the19th Conference on Computational Natural Language Learning. 2015:268-278.
[30]Zeng Daojian, LiuKang, Lai Siwei,et al.Relation classification via convolutional deep neural network [C]// Procofthe 25th InternationalConference on Computational Linguistics. 2014: 2335-2344.
[31]NguyenT H, Grishman R. Relation extraction:perspective from convolutional neural networks [C]// Procof the 1st Workshop on VectorSpace Modeling for Natural Language Processing. 2015: 39-48.
[32]Lin Yankai, Shen Shiqi, Liu Zhiyuan,et al.Neural relation extraction with selective attention over instances [C]//Procof the 54thAnnualMeeting of the Association for Computational Linguistics.2016:2124-2133.
[33]Zhou Peng, Shi Wei, Tian Jun,et al.Attention-based bidirectional long short-term memory networks for relation classification [C]// Procof the54th Annual Meeting of the Association for Computational Linguistics.2016: 207-212.
[34]萬靜,李浩銘,嚴歡春,等.基于循環卷積神經網絡的關系抽取方法研究[J/OL].計算機應用研究: 1-6[2019-02-22]. http://kns. cnki.net/kcms/detail/51.1196. TP. 20181225. 1615. 003. html.(Wan Jing, LiHaoming, Yan Huanchun,et al.Relation extraction based on recurrentconvolutional neural network [J/OL]. Application Research ofComputers: 1-6(2018-12-26)[2019-02-19]. http://kns. cnki.net/kcms/detail/51. 1196. TP. 20181225. 1615. 003. html. )
[35]Cai Rui, Zhang Xiaodong, Wang Houfeng. Bidirectional recurrent convolutional neural network for relation classification [C]// Procof the54th Annual Meeting of the Association for Computational Linguistics.2016: 756-765.
[36]Lin Yanka, Liu Zhiyuan, Sun Maosong. Neural relation extraction with multi-lingual attention [C]// Procof the 55th Annual Meeting of theAssociation for Computational Linguistics. 2017: 34-43.
[37]Zheng Suncong, Hao Yuexing, Lu Dongyuan,et al.Joint entity and relation extraction based on a hybrid neural network [J].Neurocomputing, 2017, 257(9): 59-66.
[38]Miwa M, Bansal M.End-to-end relation extraction using LSTMs on sequences and tree structures [C]//Procof the 54th Annual Meeting ofthe Association for Computational Linguistics. 2016: 1105-1116.
[39]Li Qi, Ji Heng. Incremental joint extraction of entity mentionsand relations [C]// Procof the 52nd Annual Meeting of the Association forComputational Linguistic. 2014: 402-412.
[40]Zheng Suncong, Wang Feng, Bao Hongyun,et al.Joint extraction of entities and relations based on a noveltagging scheme [C]// Procof the55th Annual Meeting of the Association for Computational Linguistics.2017: 1227-1236.