1. 概率的圖表示
對于如下的無向圖 G(E, V).
如果圖中每個節點表示一個變量, 且對于圖中的每個節點, 在給定了其鄰節點的概率下,該節點和其他節點獨立, 則稱這個分布為一個馬爾科夫場. 該圖和這個分布是一一對應的.
具體而言,該圖表示概率分布 P(x1, x2, x3, x4, x5).
且該分布具備性質:
P(x1 | x2, x4) = P( x1 | x1, x2, x3, x4, x5)
P(x2 | x3, x5) = P( x2 | x1, x2, x3, x4, x5)
P(x3 | x2, x4) = P( x3 | x1, x2, x3, x4, x5)
P(x4 | x1, x3, x5) = P( x4 | x1, x2, x3, x4, x5)
P(x5 | x2, x4) = P( x5 | x1, x2, x3, x4, x5)
2. 概率的表示形式
對于上述圖表示的分布,其概率具備以下的形式:
其中, Cg 表示圖中所有最大團的集合. 至于為什么具有這種形式,請參見如下鏈接:
http://www.vis.uky.edu/~cheung/courses/ee639/Hammersley-Clifford_Theorem.pdf
3. 另外一種表示
對于如下的圖
在對應的概率分布中,有如下兩種形式:
所以后面為了防止歧義,可以采用第二種表示形式. 第二種形式到第一種形式的轉換如下,同一個黑色矩形塊的幾個節點直接擴展成全連接即可.
4. 條件隨機場
定義: 假設有 G(X, Y) 若對于任意 x, p(y | x) 可以和圖G一一對應,則p(y|x) 為條件隨機場. 條件隨機場相比較與馬爾科夫場放松了要求, 不要求 x 分布的概率獨立性.
如上圖, 給定 x 的情況下, y 之間符合獨立性假設, 則 y 的概率分布 p(y) 具備(2) 中的形式. 此時的
p(y) = p(y|x) , x 作為一個固定值參與計算 p(y), 公式如下:
5. CRF 應用
對于團的概率分布,采用的概率假設:
其中 f 為特征函數, 特征函數一般采用 0/1 特征.
對于 CRF++, 采用了如下的線性鏈結構:
