? ? ? ? 最近一直再研究序列標注問題，對序列標注問題有了一點兒心得體會。然后就想寫一篇博客介紹一下序列標注問題，序列標注問題中的中文命名實體識別問題，及常用的Bi-LSTM+CRF模型。

1.序列標注

序列標注簡單的來說就是給定一個序列，對序列中的每一個元素做一個標記，或者說給每一個元素打一個標簽，這是一個比較寬泛的概念。中文命名實體識別、中文分詞和詞性標注等這些基本的NLP任務都屬于序列標注的范疇。

我們拿中文命名實體識別來舉例解釋什么是序列標注，假設我們有如下句子：

今年海釣比賽在廈門市與金門之間的海域舉行。

我們對這句話進行序列標注之后的結果：

今(O)年(O)海(O)釣(O)比(O)賽(O)在(O)廈(B-LOC)門(I-LOC)市(E-LOC)與(O)金(B-LOC)門(E-LOC)之(O)間(O)的(O)海(O)域(O)舉(O)行(O)。

(O)

這段標注采用的是BIEO標注方式，即Begin, Intermediate, End, Other，針對不同的標注任務標注方式也各不相同。

通過標注之后的結果，我們可以識別出原來句子中的存在的兩個地點實體“廈門市”和“金門”。

在上面的中文命名實體識別的例子中，我們感興趣的是文本序列中的實體。在其他任務中會針對任務的不同打上不同的標簽。

2.中文命名實體識別

中文命名實體識別是NLP領域中的一個基本的問題，屬于序列標注問題的范疇。簡單來說中文命名實體識別問題就是將一段文本序列中包含的我們感興趣的實體識別出來，例如人名，地名和機構名等。

在這里我想說一點，中文命名實體識別相較于英文命名實體識別來說更加困難，這是因為英文中每個詞很自然的被空格分隔開來，而中文中詞與詞之間是沒有明顯的邊界的。

一般來說進行命名實體識別的方法可以分成兩大類：基于規則的方法和基于統計的方法。基于規則的方法是要人工建立實體識別規則，存在著成本高昂的缺點。基于統計的方法一般需要語料庫來進行訓練，常用的方法有HMM、CRF和神經網絡等方法。我這采用的命名實體識別方法是一種將深度學習方法和機器學習方法相結合的模型：Bi-LSTM+CRF。

3.Bi-LSTM+CRF

我這次進行中文命名實體識別采用的是Bi-LSTM+CRF模型，關于Bi-LSTM和CRF這兩種模型的原理介紹，文章博客一大堆，我就不詳細介紹了。自己畫了一個模型的結構圖，一目了然：

Bi-LSTM+CRF模型結構圖

如上圖所示，模型結構十分簡單。輸入層是一個將文本序列中的每個漢字利用預先訓練好的字向量進行向量化，作為Bi-LSTM層的輸入。之后利用一個雙向的LSTM(Bi-LSTM)對輸入序列進行encode操作，也就是進行特征提取操縱。采用雙向LSTM的效果要比單向的LSTM效果好，因為雙向LSTM將序列正向和逆向均進行了遍歷，相較于單向LSTM可以提取到更多的特征。在經過雙向LSTM層之后，我們這里使用一個CRF層進行decode，將Bi-LSTM層提取到的特征作為輸入，然后利用CRF從這些特征中計算出序列中每一個元素的標簽。

CRF是機器學習的方法，機器學習中困難的一點就是如何選擇和構造特征。Bi-LSTM屬于深度學習方法，深度學習的優勢在于不需要人為的構造和選擇特征，模型會根據訓練語料自動的選擇構造特征。因此采用Bi-LSTM進行特征的選擇構造，然后采用CRF根據得到的特征進行decode(這個不知道用什么中文表達合適)，得到最終的序列標注的結果。這樣講深度學習和機器學習相結合的，互相取長補短，最終模型的效果是不錯的。

4.基于TensorFlow的代碼實現

4.1數據預處理

首先中文NER語料部分采用的是BIOES標注方式，格式如下：

沙 B-ORG

特 I-ORG

隊 E-ORG

教 O

練 O

佩 B-PER

雷 I-PER

拉 E-PER

： O

兩 O

支 O

隊 O

都 O

想 O

勝 O

， O

因 O

此 O

都 O

作 O

出 O

了 O

最 O

大 O

的 O

努 O

力 O

。 O

之后我們需要為每個字建立一個id，另外可以設置一個閾值把出現次數小于該閾值的字用<OOV>來統一表示。你可以把這個理解成為一個字典，id越小的字，其出現的頻率越高，如下所示：

氦 3338

泵 3104

繩 2077

栩 4319

祡 14837

諱 3022

? 11895

賨 7565

4.2模型部分代碼

這部分主要是Bi-LSTM層和CRF層的代碼，基于TensorFlow寫的，至于數據預處理和評測部分的代碼，任務不同代碼也會有很大的差別，所以這里就不給出來了。

Bi-LSTM:

Bi-LSTM層

CRF:

CRF層

通過短短幾十行的代碼我們就實現了Bi-LSTM層和CRF層，足可見TensorFlow的強大！

4.3結果

我自己使用上述模型跑出來的模型在測試集上的三類實體（人名、地名和機構名）的總的F值可以達到0.85，其中人名的效果最好，其次是地名，最后是機構名。

5.總結

目前來看基本的模型效果還有待提高，畢竟F值0.85還是不能拿到工業界用的，但是Bi-LSTM+CRF的模型是目前很流行的序列的標注模型。接下來的任務就是對模型中各個參數的調優，以及對模型做一些改進。

目前有下面幾個改進點：

1.+CNN，通過CNN的卷積操作去提取更多的字與字之間的特征。

2.+word embedding，作用于第一條類似，增加序列輸入的特征。

3.考慮將特定的人工提取的規則融入到模型中去。