上節(jié)回顧：

在上一節(jié)中，我們知道CRF層可以從訓(xùn)練數(shù)據(jù)集中自動學(xué)習(xí)到一些約束規(guī)則來保證預(yù)測標(biāo)簽的合法性。

這些約束包括：

I：句子中第一個詞總是以標(biāo)簽“B-“ 或 “O”開始，而不是“I-”

II：標(biāo)簽“B-label1

I-label2 I-label3 I-…”,label1, label2, label3應(yīng)該屬于同一類實體。例如，“B-Person

I-Person” 是合法的序列, 但是“B-Person I-Organization” 是非法標(biāo)簽序列.

III：標(biāo)簽序列“O I-label” is 非法的.實體標(biāo)簽的首個標(biāo)簽應(yīng)該是 “B-“ ，而非 “I-“, 換句話說,有效的標(biāo)簽序列應(yīng)該是“O B-label”。

這一小節(jié)，我們將會講述為什么CRF會學(xué)習(xí)到這些約束規(guī)則。

1.CRF層

在CRF層損失函數(shù)中，有兩種形式的概率。這些分值是CRF層的關(guān)鍵概念。

1.1發(fā)射概率

圖1.

為了方便起見，我們用數(shù)字來表示各個實體標(biāo)簽，對應(yīng)關(guān)系如下：

B-Person———————0

I-Person————————1

B-Organization——————2

I-Organization———————3

O———————————————4

1.2轉(zhuǎn)移概率

為了使轉(zhuǎn)移概率矩陣更具魯棒性，我們額外增加兩個標(biāo)簽——START 和END，START 代表句子的開始位置，而非第一個詞，同理，END代表句子的結(jié)束位置.

表1.為增加標(biāo)簽后的轉(zhuǎn)移概率的例子。

表1.

如表1.所示，我們可以發(fā)現(xiàn)轉(zhuǎn)移概率矩陣可以學(xué)習(xí)到好多約束規(guī)則：

I：句子中第一個詞總是以標(biāo)簽“B-“ 或 “O”開始，而不是“I-”（ 從“START” 到 “I-Person or I-Organization” ）。

II：標(biāo)簽“B-label1

I-label2 I-label3 I-…”,label1, label2, label3應(yīng)該屬于同一類實體。例如，“B-Person

I-Person” 是合法的序列, 但是“B-Person I-Organization” 是非法標(biāo)簽序列.

III：標(biāo)簽序列“O I-label” is 非法的.實體標(biāo)簽的首個標(biāo)簽應(yīng)該是 “B-“ ，而非 “I-“, 換句話說,有效的標(biāo)簽序列應(yīng)該是“O B-label”。