CRF（條件隨機(jī)場(chǎng)）
構(gòu)建步驟
為了建一個(gè)條件隨機(jī)場(chǎng)，我們首先要定義一個(gè)特征函數(shù)集，每個(gè)特征函數(shù)都以整個(gè)句子s，當(dāng)前位置i，位置i和i-1的標(biāo)簽為輸入。然后為每一個(gè)特征函數(shù)賦予一個(gè)權(quán)重，然后針對(duì)每一個(gè)標(biāo)注序列l(wèi)，對(duì)所有的特征函數(shù)加權(quán)求和，必要的話，可以把求和的值轉(zhuǎn)化為一個(gè)概率值。
用詞性標(biāo)注問題解釋CRF
給定一個(gè)句子s，比如：“我在公園看到一只貓”，正常標(biāo)注詞性的結(jié)果如下：
- “我”：名詞
- “在”：介詞
- “公園”：名詞
- “看到”：動(dòng)詞
- “一只貓”：名詞短語
在CRF問題中，將（名詞、介詞、名詞、動(dòng)詞、名詞）當(dāng)成一個(gè)可能的序列Z1，其他可能的標(biāo)注序列也存在（無關(guān)乎標(biāo)注的序列正確與否）。CRF就可以解決如何在眾多可能的序列中找出正確概率最大的一個(gè)。
定義特征函數(shù)f
特征函數(shù)接受四個(gè)參數(shù)：
- 句子：s
- W_i：表示句子中第i個(gè)單詞
- Li：表示第i個(gè)單詞要標(biāo)注的詞性
- Li-1：表示第i-1個(gè)單詞要標(biāo)注的詞性
可以理解為第i-1個(gè)單詞在特征函數(shù)的作用下對(duì)第i個(gè)單詞產(chǎn)生的影響，也叫特征值
利用特征函數(shù)集做評(píng)分
有了特征函數(shù)的集合之后，需要給每一個(gè)特征函數(shù)賦予一個(gè)權(quán)重：w_i
。則綜合評(píng)分的函數(shù)表達(dá)式如下所示：
對(duì)上述公式的解釋：
- Z_k：表示一條可能的標(biāo)注序列
- 外層的求和符號(hào)表示多個(gè)特征函數(shù)求和的評(píng)分結(jié)果
- 內(nèi)層求和符號(hào)表示句子中每個(gè)單詞在不同的特征函數(shù)作用下的特征值
由于每一個(gè)句子有很多可能的詞性標(biāo)注，特征函數(shù)集對(duì)每一個(gè)可能的詞性標(biāo)注序列都可以得到一個(gè)綜合特征值，對(duì)整個(gè)綜合特征值做softmax處理，即可得到每一個(gè)詞性標(biāo)注的概率。
softmax：
- l_i：表示一個(gè)可能的標(biāo)注序列
HMM和CRF
HMM(隱馬爾可夫模型)是CRF的一個(gè)特例。
在隱馬模型的鏈?zhǔn)椒▌t中，求一個(gè)標(biāo)注序列的概率公式如下：
對(duì)上述公式的說明：
- p(Li|Li-1)：表示轉(zhuǎn)移概率，在詞性為L(zhǎng)i-1的基礎(chǔ)下出現(xiàn)詞性Li的概率
- p(W_i|L_i): 表示發(fā)射概率，在詞性為L(zhǎng)_i的基礎(chǔ)下，單詞是W_i的概率
對(duì)HMM的概率公式取對(duì)數(shù):
可以發(fā)現(xiàn)，HMM取對(duì)數(shù)之后的概率公式和CRF的特征集的綜合評(píng)分函數(shù)具有相同的形式。
去掉發(fā)射概率，因?yàn)榇藭r(shí)只關(guān)注詞性標(biāo)注序列
HMM等價(jià)于只有一個(gè)特征函數(shù)的CRF。
CRF相對(duì)HMM具有以下優(yōu)點(diǎn)
- CRF可以定義數(shù)量更多，種類更豐富的特征函數(shù)。HMM模型具有天然具有局部性，就是說，在HMM模型中，當(dāng)前的單詞只依賴于當(dāng)前的標(biāo)簽，當(dāng)前的標(biāo)簽只依賴于前一個(gè)標(biāo)簽。這樣的局部性限制了HMM只能定義相應(yīng)類型的特征函數(shù)，我們?cè)谏厦嬉部吹搅?。但是CRF卻可以著眼于整個(gè)句子s定義更具有全局性的特征函數(shù)
CRF可以使用任意的權(quán)重 將對(duì)數(shù)HMM模型看做CRF時(shí)，特征函數(shù)的權(quán)重由于是log形式的概率，所以都是小于等于0的，而且概率還要滿足相應(yīng)的限制，但在CRF中，每個(gè)特征函數(shù)的權(quán)重可以是任意值，沒有這些限制。
原文鏈接：[輕松理解條件隨機(jī)場(chǎng)（CRF）]
https://www.imooc.com/article/27795
