前言-- 廢話
在這兩篇之后,終于艱難的學到了一開始想學的東西,其實在前面兩者的學習過程中,作者多多少少的都會提到馬爾科夫隨機場之類的東西,所以其實跟前面的關系是十分密切的,所以如果前面兩個打好了基礎的話,應該是可以很快理解這個過程的。
PGM(Probabilistic Graphical Models)系列--1.基礎
PGM(Probabilistic Graphical Models)系列--2. 貝葉斯網絡
馬爾科夫隨機場(Markov Random Fields)
從貝葉斯網絡到馬爾科夫隨機場,僅僅是一個有向和無向的轉變。但是僅僅因為模型中這一點的不同,造成的差異也是十分巨大的。
首先,在貝葉斯網絡中,由于存在方向性,即因果關系,所以是可以是用一個概率表來表示每一個節點的概率的。統計給定父節點值下該節點的頻率則可以構造一個合適的概率表從而使模型完備。
但在Markov 隨機場中,由于一個二維的表不足以說明兩兩之間的雙向關系,所以引入了新的概念。
Factor
定義:給定一個隨機數量的特征組成的集合D,定義一個factor(D),其值以及其所有項均非負。factor的值代表了內部特征間的對稱特征以及兼容性。而這個集合D即這個因子的作用域(scope)。
對于給定一個模型,我們可以先進行分塊(clique),下圖以兩兩進行分塊(我們也可以三三分塊),并對每一個塊內部提供factor,每一個factor表明了這個塊內部的權重分布。
分塊后我們需要將這些塊重新構造起來。正如貝葉斯網絡中的聯合概率。
聯合前,我們首先需要進行normalize,2^4 = 16 種情況下對應的四者進行連乘后求百分比。
其中Z即16種情況下的四者連乘之和。上圖模型和factor的Z為7201840。
后話
那到這里的話,Markov Random Fields的基礎也就講完了,后面主要是獨立性、完備性之類的問題。這些問題我就不在這里贅述,因為涉及很多數學原理,我不喜歡講這些。后面我們將進入重要的隱馬爾科夫鏈的學習。
參考
http://blog.sciencenet.cn/blog-741529-827705.html
https://www.zhihu.com/question/37853887?sort=created