摘要
聯合抽取實體和關系是信息抽取中的一項重要任務。為了解決這一問題，我們首次提出了一種能夠把聯合抽取任務轉換為標注問題的新標注模式。然后，基于新標注模式，我們學習不同的end-to-end的模型來直接抽取實體和實體關系，而不需要分開來識別實體和關系。我們用遠程監督方法在公共數據集上做實驗，實驗結果證明這種基于標注的方法比大多數已存在的串行式和聯合式的學習方法要好。甚至，論文中提出的這種end-to-end的模型在公共數據集熵取得了最好的結果。
1 介紹
聯合抽取實體和關系是為了從非結構化的文本中同時識別命名實體和實體之間的語義關系。不同于其關系詞是從給定的句子中進行抽取的開放信息抽取（Open IE），在聯合抽取任務中，關系詞是從可能沒在給出的句子中出現的預定義好的關系集合中抽取的。這在知識抽取和知識庫構建中是一個很重要的問題。
傳統的處理這種處理實體和關系抽取的方法是串聯式的。即先抽取實體，然后識別實體間的關系。這種分開來處理的方式比較簡單，而且各個模塊都比較靈活。但是這種方法忽視了兩個任務之間的聯系，實體識別的結果可能會影響關系的抽取。
不同于串聯式的方法，聯合抽取是用一個模型來抽取實體和關系。這種方式可以有效的整合實體和關系信息，并且達到一個很好的效果。然而，現有的聯合抽取方法大多都是基于特征來實現的，并且非常依賴其他可能會引入誤差的NLP工具。為了減少人工抽取特征工作，提出基于神經網絡的end-to-end模型來聯合抽取實體和關系。盡管這些模型能夠在同一個模型當中共享實體抽取和關系抽取的參數，但是實體和關系抽取是分開進行的而且容易產生冗余信息。例如圖一中的句子包含三個實體：“美國”，“特朗普”和“蘋果公司”。但是只有“美國”和“特朗普”之間有一個“國家總統”的關系。實體“蘋果公司”與其它實體之間沒有明顯的關系。因此，這句話的抽取結果應該是{美國， 國家-總統， 特朗普}，我們稱之為三元組。
在這篇論文中，我們的研究點在于由兩個實體以及兩個實體間關系組成的三元組的抽取。因此，我們直接對三元組進行建模，而不是分別對實體和關系進行建模。基于此，我們提出了標注模式和end-to-end模型來處理這個問題。我們設計了一種新的包含了實體和關系的標簽。基于這種標注模式，把聯合抽取任務轉換為標注問題。通過這種方法，我們能夠簡單地使用神經網絡來建模而無需復雜的特征工程。
最近，基于LSTM的end-to-end模型已經被成功運用到各種標注任務，如命名實體識別等。LSTM能夠學習長詞，這對句子模型很有好處。因此，基于新的標注方法，我們學習用不同的end-to-end模型來解決問題。為了適應特殊標簽，我們還通過增加一個偏置損失函數來修改解碼方法。
我們提出的方法是一個監督學習算法。實際上，手工標注包含大量實體和關系的數據集的這一過程是很花費時間并且容易出錯的。因此，我們在公開數據集來進行我們的實驗。實驗結果證明我們的標注模式是有效的。另外，我們的end-to-end模型在公開數據集熵達到了最好的效果。
這篇論文的主要貢獻在于：
（1）提出了新的標注方法，可以把聯合抽取實體和關系的任務轉換為標注任務。（2）基于新的標注方法，我們學習用不同的end-to-end模型來解決問題。（3）對于end-to-end模型增加了偏置損失函數，增強了相關實體之間的聯系。
2 相關工作
識別和關系抽取是構建知識圖譜的重要一步，對很多NLP任務都有好處。主要有兩種方法廣泛的被應用與實體和關系的抽取任務，一種是串聯式的，另一種是聯合式的。
串聯式方法把這一任務分解為兩個不同的子任務，既命名實體識別（NER）和關系分類（RC）。傳統的NER模型是線性統計模型，例如隱馬爾科夫（HMM）模型和條件隨機場（CRF）模型。最近一些神經網絡結構也被成功應用到NER中，這被當做是序列標注任務。已有的RC方法也可以被分為基于手工構造特征的方法和神經網絡方法。
聯合抽取實體和關系使用的是單個模型。大多數聯合式方法是基于特征來實現的，最近使用基于LSTM的模型能夠減少人工工作。
不同于以上的方法，這篇論文中提出的方法是基于特殊標注方式的，因此我們使用end-to-end模型而不需要NER和RC。End-to-end模型是把輸入句子映射一個有意義向量中然后再生成一個序列。它被廣泛應用于機器翻譯和序列標注任務。大多數方法都使用雙向LSTM對輸入句子進行編碼，但是解碼方法總是不同的。例如，使用一個CRF層解碼標簽序列，同時應用LSTM層來產生標簽序列。
3 方法
我們提出了一種帶有偏置損失函數的新標注模式來聯合抽取實體和關系。這一部分，我們首先介紹如何把抽取問題轉換為標注問題，然后詳述該模型。
3.1 標注模型
圖2是如何標記結果的示例。為每個單詞分配一個有助于提取結果的標簽，標簽“O”表示“其他”標簽，這意味著對應的單詞與提取的結果無關。除了“O”之外，其他標簽由三部分組成：實體中的單詞位置，關系類型和關系角色。我們使用“BIES”（開始，內部，結束，單個）標志來表示實體中單詞的位置信息。關系類型信息是從一組預定的關系中獲得的，并且關系角色信息由數字“1”和“2”表示。提取的結果由三元組表示：（Entity1，RelationType，Entity2）。 “1”表示該詞屬于三元組中的第一個實體，而“2”屬于關系類型后面的第二個實體。因此，標簽的總數為$N_{t} = 2 * 4 * | R | + 1$，其中| R |是預定義關系集的大小。圖2是說明我們的標記方法的示例。 輸入句子包含兩個三元組：{美國，國家-總統，特朗普}和{蘋果公司，公司-創始人，史蒂文·保羅·喬布斯，其中“國家總統”和“公司創始人”是預定義的關聯類型。 “聯合”，“國家”，“特朗普”，“蘋果”，“公司”，“史蒂文”，“保羅”和“喬布斯”都與最終提取的結果相關。 因此，它們是基于我們的特殊標簽來標記的。 例如，“聯合”這個詞是“美國”這個實體的第一個詞，與“國家總統”有關，所以它的標簽是“B-CP-1”。 對應于“美國”的另一個實體“特朗普”被標記為“S-CP-2”。 另一方面，與最終結果無關的其他詞語標記為“O”。
3.2 從標簽序列抽取結果
從圖2的標簽序列，我們知道“特朗普”和“美國”共享相同的關系類型“國家-總統”，“蘋果公司”和“史蒂文·保羅·喬布斯”共享相同的關系類型“公司-創始人”。 我們將具有相同關系類型的實體組合成三元組以獲得最終結果。 因此，“特朗普”和“美國”可以組合成一個關系類型是“國家總統”的三元組。 因為“特朗普”的關系角色是“2”，“美國”是“1”，最終的結果是{美國，國家-總統，特朗普}。 這同樣適用于{蘋果公司，公司-創始人，史蒂文·保羅·喬布斯}。
此外，如果一個句子包含兩個或更多個具有相同關系類型的三元組，那么我們根據最近原則將每兩個實體組合成一個三元組。 例如，如果圖2中的關系類型“國家總統”是“公司創始人”，則在給定句子中將有四個實體具有相同的關系類型。 “美國”最接近實體“特朗普”，“蘋果公司”最接近“喬布斯”，結果將是{美國，公司-創始人，特朗普}和{蘋果公司，公司-創始人， 史蒂文·保羅·喬布斯}。
在這篇論文中，我們僅考慮一個實體只屬于一個三元組這種情況，把重疊關系識別的任務放到未來的工作中。
3.3 End-to-end模型
近年來，基于神經網絡的end-to-end模型被廣泛應用于序列標簽任務中。在本文中，我們調查端到端模型來生成標簽序列，如圖3所示， 它包含一個用于對輸入語句進行編碼的雙向長短期記憶（Bi-LSTM）層和一個基于LSTM具有偏置損失函數的解碼層。偏置損失函數可以增強實體標簽的相關性。
3.3.1 雙向LSTM編碼層
在序列標注問題中，Bi-LSTM編碼層已經顯示了捕獲每個單詞的語義信息的有效性。它包含了前向lstm層，向后lstm層和連接層。詞嵌入層將具有1-hot表示的單詞轉換為嵌入向量。 因此，一個詞序列可以表示為W = {w1，... wt，wt + 1 ... wn}，其中$w_{t}\in R^xq6kzmj$是對應于d維字向量中的第t個詞，n是給定句子的長度。字嵌入層后，有兩個平行的LSTM層：前向LSTM層和后向LSTM層。 LSTM體系結構由一組循環連接的子網組成，稱為內存塊。 每個時間步長是一個LSTM內存塊。Bi-LSTM編碼層中的LSTM存儲塊用于基于先前的隱藏向量$h_{t-1}$，先前的小區向量$c_{t-1}$和當前輸入字嵌入$w_{t}$來計算當前隱藏向量$h_{t}$。其結構圖如圖3所示，詳細操作定義如下：
其中i，f和o分別是輸入門，忘記門和輸出門，b是偏置項，c是單元存儲器，W(.)是參數。 對于每個單詞$w_{t}$，前向LSTM層將通過考慮從$w_{1}$到$w_{0}$的上下文信息來編碼$w_{t}$，其被標記為
來表示t的編碼信息，表示為
3.3.2 LSTM解碼層
我們還采用LSTM結構來生成標簽序列。當檢測到單詞$w_{t}$的標簽時，解碼層的輸入是：從Bi-LSTM編碼層得到的$h_{t}$，前一個預測標簽嵌入$T_{t-1}$，前一個單元值${c_{t-1}}{(2)}$，前一個解碼層的隱藏向量${h_{t-1}}{(2)}$。 $LSTM_pmayu9q$內存塊的結構圖如圖3(c)所示，詳細操作定義如下：
最后通過softmax計算基于標簽預測向量$T_{t}$計算歸一化的實體標簽概率：
其中$W_{y}$是softmax矩陣，$N_{t}$是標簽數量。因為T類似于標簽嵌入，LSTM能夠學習長期依賴性，因此解碼方式可以建立標簽交互。
3.3.3 偏置目標函數
我們訓練我們的模型以最大化數據的對數似然，我們使用的優化方法是Hinton在2012年中提出的RMSprop。 目標函數可以定義為：
其中|D|是訓練集的大小，$L_{j}$是句子$x_{j}$的長度，${y_{t}}{(j)}$是句子$x_{j}$中詞t的標簽，${p_{t}}{(j)}$是公式15中定義好的標簽的歸一化概率。此外，I(O)是一個切換函數，用于區分可以指示結果的標簽“O”和關系標簽的損失量。 定義如下：
α是偏置權重。α越大，其對模型中關系標簽的影響越大。
4 實驗
4.1 實驗設置
4.1.1 數據集
為了評估我們的方法的性能，我們使用由遠程監督方法生成的公共數據集NYT2（Ren et al.,2017）。通過遠程監控方法可以獲得大量的培訓數據，無需手動標注，雖然手動標注測試集可以確保其質量。 總共訓練數據包含353000個三元組，測試集包含3880個三元組。 此外，關系集的大小是24。
4.1.2 評估
我們采用標準精度(Prec)，召回(Rec)和F1值來評估結果。與傳統方法不同，我們的方法可以提取三元組而不需要知道實體類型信息。 換句話說，我們沒有使用實體類型的標簽來訓練模型，因此我們不需要在評估中考慮實體類型。當它的關系類型和兩個對應實體的頭部偏移都是正確時，三元組被認為是正確的。此外，如Ren等人所做的，提出了ground-truth關系并且排除“None”標簽。我們通過從測試集中隨機抽取10％的數據創建一個驗證集，并使用剩余的數據作為評估。 我們對每個實驗運行10次，然后報告平均結果及其標準差，如表1所示。
4.1.3 超參數
我們的模型由Bi-LSTM編碼層和具有偏置目標函數的LSTM解碼層組成。在編碼部分中使用的詞嵌入是通過在NYT訓練語料庫上運行word2vec來初始化的。詞嵌入的維數為d = 300。我們使用嵌入層上的缺失來校準我們的網絡，并且丟棄率是0.5。編碼層的lstm單位數為300，解碼層數為600。與表1的結果對應的偏置參數α為10。
4.1.4 基準線
我們將我們的方法與幾種傳統的三元組提取方法進行比較，可以分為以下幾類：串聯式方法，聯合提取方法和基于我們的標記方案的端到端方法。
對于串聯式方法，我們遵循Ren等人2017年的設置：NER結果由CoType獲得，然后應用幾種經典關系分類方法來檢測關系。這些方法是：（1）DS-邏輯回歸是一種遠程監督和基于特征的方法，其結合了監督IE和無監督IE特征的優點; （2）LINE是一種網絡嵌入方式，適用于任意類型的信息網絡; （3）FCM是一種組合模型，它將詞匯化語言語境和詞匯嵌入結合起來進行關聯抽取。
本文使用的聯合提取方法如下：（4）DS-Joint是一種監督方法，它使用結構感知機在人工標注的數據集合上提取實體和關系; （5）MultiR是基于多實例學習算法的典型的遠程監督方法，用于對抗有噪點的訓練數據; （6）Co-Type是一個獨立領域的框架，它將實體，關系，文本特征和類型標簽共同嵌入到有意義的表示中。
此外，我們也比較了我們的方法和兩種傳統的end-to-end標注模型方法：LSTM-CRF和LSTM-LSTM。LSTM-CRF用于實體識別，它是通過使用雙向L-STM編碼輸入句和條件隨機字段來預測實體標簽序列。 與LSTM-CRF不同，LSTM-LSTM使用LSTM層解碼標簽序列而不是CRF。這兩種方法是首次用基于我們的標簽方案的聯合提取實體和關系的方法。
4.2 實驗結果
從表1可以看出，我們的LSTM-LSTM-Bias方法在F1值的表現上優于所有其它方法，并且比最好方法CoType有3％的提高。這顯示了我們提出的方法的有效性。 此外，從表1可以看出，聯合提取方法優于串聯式方法，標注方法比大多數聯合提取方法更好。這也驗證了我們的標注模式對共同提取實體和關系的任務的有效性。
與傳統方法相比，端對端模型的精度有顯著提高。但只有LSTM-LSTM-Bias才能更好地平衡精度和召回。原因可能是這些端對端模型都使用Bi-LSTM編碼輸入句和不同的神經網絡來解碼結果。基于神經網絡的方法可以很好地適應數據。 因此，他們可以很好地學習訓練集的共同特征，并可能導致較低的可擴展性。我們也發現LSTM-LSTM模型要優于LSTM-CRF模型。因為LSTM能夠學習長期的依賴關系，CRF很好地捕捉整個標簽序列的聯合概率。 相關標簽可能彼此間距很遠。 因此，LSTM的解碼方式要好于CRF。 LSTM-LSTM-Bias增加了偏差權重以增強實體標簽的影響，并削弱無效標簽的影響。 因此，在這種標注方案中，我們的方法可以比普通的LSTM解碼方法更好。
5 分析和討論
5.1 錯誤分析
在本文中，我們著重于提取由兩個實體和一個關系組成的三元組。 表1顯示了預測結果，只有當兩個對應的實體的關系類型和頭部偏移都是正確的時，找到的三元組才是是正確的。為了找出影響端對端模型結果的因素，我們分析了預測三元組中每個元素的性能，如表2所示。E1和E2分別代表每個實體的預測性能。如果第一個實體的頭部偏移正確，則E1的實例是正確的，E2也是如此。無論關系類型如何，如果兩個對應的實體的頭部偏移都是正確的，則（E1，E2）的實例是正確的。
如表2所示，與E1和E2相比，（E1，E2）的精度更高。但其召回率比E1和E2低。這意味著一些預測實體不會形成一對。他們只得到E1，找不到對應的E2，或獲得E2，找不到對應的E1。因此，它導致對更多單個E和更少（E1，E2）對的預測。 因此，實體對（E1，E2）具有比單個E更高的精度和更低的召回率。此外，與表1中的預測結果相比，表2中的（E1，E2）的預測結果具有約3％的改善，這意味著3%的測試數據預測結果是錯誤的，因為預測關系類型是錯誤的。
5.2 偏置損失分析
與LSTM-CRF和LSTM-LSTM不同，我們的方法偏向于關系標簽，以增強實體之間的鏈接。 為了進一步分析偏置目標函數的影響，我們可以從圖4中看出每個端對端方法預測單個實體的比例。單個實體是指找不到相應實體的實體。無論圖4顯示的是E1還是E2，我們的方法都可以在單個實體上獲得相對較低的比例。這意味著當比較LSTM-CRF和LSTM-LSTM時，我們的方法可以有效地關聯兩個實體，而不關心關系標簽。
此外，我們調整偏置參數α從1到20，相應的預測結果如圖5所示。如果α太大，會影響預測的準確性，如果α太小，則召回率將下降。 當α= 10時，LSTM-LSTM-Bias可以平衡準確率和召回率，獲得最佳的F1值。
5.3 案例分析
在本節中，我們觀察了端到端方法的預測結果，然后選擇幾個代表性的例子來說明方法的優缺點，如表3所示。每個示例包含三行，第一行是黃金標準，第二行和第三行分別是LSTM-LSTM和LSTM-LSTM-Bias模型的提取結果。
S1表示兩個相互關聯的實體之間的距離越彼此遠離，就越難以發現其關系。與LSTM-LSTM相比，LSTM-LSTM-Bias使用偏差目標函數，增強實體之間的相關性。 因此，在這個例子中，LSTM-LSTM-Bias可以提取兩個相關實體，而LSTM-LSTM只能提取一個“Florida”實體，不能檢測到“Panama City Beach”。
S2是一個負面例子，顯示這些方法可能會錯誤地預測一個實體。 Nuremberg和Germany之間沒有任何指示性的詞匯。 此外，Germany和MiddleAges之間的“a * of *”這種模式可能容易錯誤的導致模型認為它們之間存在“包含”關系。可以通過將這種表達模式的一些樣本添加到訓練集中來解決該問題。
S3是一個模型可以預測實體的頭部偏移量，但是關系角色是錯誤的例子。 LSTM-LSTM將“Stephen A. Schwarzman”和“Blackstone Group”視為實體E1，找不到相應的E2。 雖然LSTM-LSMT-Bias可以找到實體對（E1，E2），但它顛倒了“Stephen A. Schwarzman”和“Blackstone Group”的角色。 這表明LSTM-LSTM-Bias能夠更好地預測實體對，但在區分兩個實體之間的關系方面仍有待改進。
6 結論
在本文中，我們提出了一種新穎的標注方案，并研究了端對端模型共同提取實體和關系。實驗結果表明我們提出的方法的有效性。但是，重疊關系的識別仍然存在缺陷。 在未來的工作中，我們將使用多個分類器替換輸出層中的softmax函數，以便一個單詞可以有多個標簽。 這樣一來，一個字可以出現在多個三元組結果中，這可以解決重疊關系的問題。雖然，我們的模型可以增強實體標簽的效果，但兩個相應實體之間的關聯仍然需要在下一個工作中進行細化。
致謝
感謝Xiang Ren的數據集細節和有益的討論。 該工作也得到了中國國家高技術研究發展計劃（863計劃）（授權號：2015AA015402），國家自然科學基金（61602479）和國家自然科學基金項目（61501463）的支持。
參考文獻
Michele Banko, Michael J Cafarella, Stephen Soder- land, Matthew Broadhead, and Oren Etzioni. 2007. Open information extraction from the web. In IJ- CAI. volume 7, pages 2670–2676.
Jason PC Chiu and Eric Nichols. 2015. Named enti- ty recognition with bidirectional lstm-cnns. In Pro- cessings of Transactions of the Association for Com- putational Linguistics.
C?cero Nogueira et al. dos Santos. 2015. Classifying relations by ranking with convolutional neural net- works. In Proceedings of the 53th ACL internation- al conference. volume 1, pages 626–634. Matthew R Gormley, Mo Yu, and Mark Dredze. 2015. Improved relation extraction with feature-rich com- positional embedding models. In Proceedings of the EMNLP. Sepp Hochreiter and Ju?rgen Schmidhuber. 1997. Long short-term memory. Neural computation 9(8):1735–1780.
Raphael Hoffmann, Congle Zhang, Xiao Ling, Luke Zettlemoyer, and Daniel S Weld. 2011. Knowledge- based weak supervision for information extraction of overlapping relations. In Proceedings of the 49th Annual Meeting of the Association for Computation- al Linguistics. Association for Computational Lin- guistics, pages 541–550.
Zhiheng Huang, Wei Xu, and Kai Yu. 2015. Bidirec- tional lstm-crf models for sequence tagging. arXiv preprint arXiv:1508.01991 .
Nal Kalchbrenner and Phil Blunsom. 2013. Recurren- t continuous translation models. In EMNLP. vol- ume 3, page 413.
Nanda Kambhatla. 2004. Combining lexical, syntactic, and semantic features with maximum entropy mod- els for extracting relations. In Proceedings of the 43th ACL international conference. page 22. Arzoo Katiyar and Claire Cardie. 2016. Investigating lstms for joint extraction of opinion entities and rela- tions. In Proceedings of the 54th ACL international conference.
John Lafferty, Andrew McCallum, Fernando Pereira, et al. 2001. Conditional random fields: Probabilis- tic models for segmenting and labeling sequence da- ta. In Proceedings of the eighteenth international conference on machine learning, ICML. volume 1, pages 282–289.
Guillaume Lample, Miguel Ballesteros, Sandeep Sub- ramanian, Kazuya Kawakami, and Chris Dyer. 2016. Neural architectures for named entity recognition. In Proceedings of the NAACL international confer- ence.
Qi Li and Heng Ji. 2014. Incremental joint extraction of entity mentions and relations. In Proceedings of the 52rd Annual Meeting of the Association for Computational Linguistics. pages 402–412. Gang Luo, Xiaojiang Huang, Chin-Yew Lin, and Za- iqing Nie. 2015. Joint entity recognition and disam- biguation. In Conference on Empirical Methods in Natural Language Processing. pages 879–888.
Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Cor- rado, and Jeff Dean. 2013. Distributed representa- tions of words and phrases and their compositional- ity. In Advances in neural information processing systems. pages 3111–3119.
Mike Mintz, Steven Bills, Rion Snow, and Dan Ju- rafsky. 2009. Distant supervision for relation ex- traction without labeled data. In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL. Association for Computational Linguistics, pages 1003–1011.
Makoto Miwa and Mohit Bansal. 2016. End-to-end re- lation extraction using lstms on sequences and tree structures. In Proceedings of the 54rd Annual Meet- ing of the Association for Computational Linguistic- s.
Makoto Miwa and Yutaka Sasaki. 2014. Modeling joint entity and relation extraction with table repre- sentation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Process- ing. pages 1858–1869.
David Nadeau and Satoshi Sekine. 2007. A sur- vey of named entity recognition and classification. Lingvisticae Investigationes 30(1):3–26.
Alexandre Passos, Vineet Kumar, and Andrew McCal- lum. 2014. Lexicon infused phrase embeddings for named entity resolution. In International Confer- ence on Computational Linguistics. pages 78–86.
Xiang Ren, Zeqiu Wu, Wenqi He, Meng Qu, Clare R Voss, Heng Ji, Tarek F Abdelzaher, and Jiawei Han. 2017. Cotype: Joint extraction of typed entities and relations with knowledge bases. In Proceedings of the 26th WWW international conference.
Bryan et al. Rink. 2010. Utd: Classifying semantic re- lations by combining lexical and semantic resources. In Proceedings of the 5th International Workshop on Semantic Evaluation. pages 256–259. Sameer Singh, Sebastian Riedel, Brian Martin, Jiaping Zheng, and Andrew McCallum. 2013. Joint infer- ence of entities, relations, and coreference. In Pro- ceedings of the 2013 workshop on Automated knowl- edge base construction. ACM, pages 1–6.
Ilya Sutskever, Oriol Vinyals, and Quoc V Le. 2014. Sequence to sequence learning with neural network- s. In Advances in neural information processing sys- tems. pages 3104–3112.
Jian Tang, Meng Qu, Mingzhe Wang, Ming Zhang, Jun Yan, and Qiaozhu Mei. 2015. Line: Large-scale in- formation network embedding. In Proceedings of the 24th International Conference on World Wide Web. ACM, pages 1067–1077.
Tijmen Tieleman and Geoffrey Hinton. 2012. Lecture 6.5-rmsprop. In COURSERA: Neural networks for machine learning.
Ashish Vaswani, Yonatan Bisk, Kenji Sagae, and Ryan Musa. 2016. Supertagging with lstms. In Proceed- ings of the NAACL international conference. pages 232–237.
Kun et al. Xu. 2015a. Semantic relation classification via convolutional neural networks with simple neg- ative sampling. In Proceedings of the EMNLP.
Yan et al. Xu. 2015b. Classifying relations via long short term memory networks along shortest depen- dency paths. In Proceedings of EMNLP internation- al conference.
Bishan Yang and Claire Cardie. 2013. Joint inference for fine-grained opinion extraction. In Proceedings of the 51rd Annual Meeting of the Association for Computational Linguistics. pages 1640–1649.
Xiaofeng Yu and Wai Lam. 2010. Jointly identifying entities and extracting relations in encyclopedia tex- t via a graphical model approach. In Proceedings of the 21th COLING international conference. pages 1399–1407.
Daojian et al. Zeng. 2014. Relation classification via convolutional deep neural network. In Proceedings of the 25th COLING international conference. pages 2335–2344.
Feifei Zhai, Saloni Potdar, Bing Xiang, and Bowen Zhou. 2017. Neural models for sequence chunk- ing. In Proceedings of the AAAI international con- ference.
Suncong Zheng, Jiaming Xu, Peng Zhou, Hongyun Bao, Zhenyu Qi, and Bo Xu. 2016. A neural net- work framework for relation extraction: Learning entity semantic and relation pattern. Knowledge- Based Systems 114:12–23.
