定義： 關(guān)于時序的概率模型，描述由一個隱藏得馬爾可夫鏈隨機生成不可觀測的狀態(tài)隨機序列，再由各個狀態(tài)生成一個觀測而產(chǎn)生的觀測隨機序列的過程。

狀態(tài)序列： 隱藏的馬爾可夫鏈隨機生成的狀態(tài)的序列

觀測序列： 每一個狀態(tài)生成一個觀測，而由此產(chǎn)生的觀測的隨機序列

序列的每一個位置又可以看做是一個時刻

隱馬爾可夫模型由初始概率分布、狀態(tài)轉(zhuǎn)移概率分布以及觀測概率分布確定。形式定義如下：

所有可能的狀態(tài)的集合：Q={q₁,q₂,q₃,q₄...q_N}

所有可能的觀測的集合：V={v₁,v₂,v₃,v₄...v_N}

長度為T的狀態(tài)序列：I=(i₁,i₂,i₃,i₄,...i_T)

對于的長度為T的觀測序列：O=(o₁,o₂,o₃,o₄...o_T)

狀態(tài)轉(zhuǎn)移概率矩陣：A = [a_ij]_NxN，其中

a_ij = P(i_t+1=q_j|i_t=q_i), i=1,2,...,N; j=1,2,...,N, 是在時刻t處于狀態(tài)q_i的條件下在時刻t+1轉(zhuǎn)移到q_j的概率。

觀測概率矩陣：B=[b_j(k)]_NxM, 其中b_j(k)=P(o_t=v_k|i_t=q_j), k=1,2,...,M; j=1,2,...,N 是指時刻t處于狀態(tài)q_j的條件下生成觀測v_k的概率。

PP 代表初始狀態(tài)概率向量： PP = (pp_i); 其中pp_i=P(i₁=q_i) , i = 1,2,...,N 指時刻t=1處于狀態(tài)q_i的概率。

簡述的bug無法插入數(shù)學(xué)公式，好坑爹

隱馬爾可夫由初始狀態(tài)概率向量PP、狀態(tài)轉(zhuǎn)移概率矩陣A和觀測概率矩陣B決定。PP和A決定狀態(tài)序列，B決定觀測序列。因此隱馬爾可夫模型lambda可以用用三元符號表示，即 lambda = (A, B, PP), A、B、PP稱為隱馬爾可夫模型的三要素。

隱馬爾可夫模型的兩個基本假設(shè)：

(1) 齊次馬爾可夫性假設(shè)，即假設(shè)隱藏得馬爾可夫鏈再任意時刻t的狀態(tài)只依賴于其前一時刻的狀態(tài)，與其他時刻的狀態(tài)及觀測無關(guān)，也與時刻t無關(guān)。

P(i_t|i_t-1, o_t-1,i_t-2, o_t-2,...i₁, o₁) = P(i_t|i_t-1)

(2)觀測獨立性假設(shè)，即假設(shè)任意時刻的觀測只依賴于該時刻的馬爾可夫鏈的狀態(tài)，與其他觀測及狀態(tài)無關(guān)。

P(o_t|i_T, o_T, i_T-1, o_T-1,...,i_t+1, o_t+1, i_t, i_t-1, o_t-1,...,i₁,o₁) = P(o_t|i_t)

隱馬爾可夫模型可以用于標(biāo)注，這是狀態(tài)對應(yīng)這標(biāo)記。標(biāo)注問題是給定觀測的序列預(yù)測其對應(yīng)標(biāo)記序列。可以假設(shè)標(biāo)注問題的數(shù)據(jù)是由隱馬爾可夫模型生成的。

觀測序列的生成過程

算法（觀測序列的生成）

輸入：隱馬爾可夫模型 lambda = (A, B, PP)， 觀測序列長度T

輸出：觀測序列 O = (o₁,o₂,o₃,o₄,...,o_T)

(1) 按照初始狀態(tài)分布PP產(chǎn)生狀態(tài)i₁

(2)令t=1

(3)安裝狀態(tài)i_t的觀測概率分布b_i1(k)生成o_t

(4)安裝狀態(tài)i_t的狀態(tài)轉(zhuǎn)移概率分布{a_itit+1}產(chǎn)生狀態(tài)i_t+1; i_{t+1 = 1, 2, 3,...,N}

(5)令t=t+1；如果t< T, 轉(zhuǎn)（3）；否則，終止

隱馬爾可夫模型的3個基本問題

（1）概率計算問題：給定模型lambda = (A, B, PP)和觀測序列O = (o₁,o₂,o₃,o₄,...,o_T)，計算再模型lambda下觀測序列O出現(xiàn)的概率P(O|lambda).

（2）學(xué)習(xí)問題：已知觀測序列O = (o₁,o₂,o₃,o₄,...,o_T)，估計模型lambda參數(shù)，使得在該模型下觀測序列概率P(O|lambda)最大。即用最大似然估計的方法估計參數(shù)。

（3）預(yù)測問題：也稱為解碼問題，已知模型lambda = (A, B, PP)和觀測序列O = (o₁,o₂,o₃,o₄,...,o_T)，求對給定觀測序列條件概率P(I|O)最大的狀態(tài)序列I=(i₁, i₂,i₃,..,i_T)。即給定觀測序列，求最有可能的對應(yīng)的狀態(tài)序列。

Reference：

《統(tǒng)計學(xué)習(xí)方法》李航