隱馬爾可夫模型綜述

《隱馬爾可夫模型綜述》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。

1、隱馬爾可夫模型綜述于江德摘　要：隱馬爾可夫模型是一種有著廣泛應(yīng)用的統(tǒng)計(jì)模型，它是在馬爾可夫模型基礎(chǔ)上發(fā)展起來(lái)的。本文首先簡(jiǎn)要介紹了馬爾可夫模型，然后對(duì)隱馬爾可夫模型的基本概念、一般形式、三個(gè)基本問(wèn)題及其解決算法進(jìn)行了詳細(xì)介紹，最后就隱馬爾可夫模型的應(yīng)用及當(dāng)前研究的熱點(diǎn)、難點(diǎn)進(jìn)行了論述。關(guān)鍵字：馬爾可夫模型；隱馬爾可夫模型；前向算法；后向算法；韋特比算法1引言隱馬爾可夫模型（HiddenMarkovModel，簡(jiǎn)稱HMM）是一種用參數(shù)表示，用于描述隨機(jī)過(guò)程統(tǒng)計(jì)特性的概率模型，它是在馬爾可夫模型基礎(chǔ)上發(fā)展起來(lái)的。早在20世紀(jì)的60年代末和70年代初，HMM的

2、基本理論就由Baum等人建立起來(lái)了，并由卡耐基－梅隆大學(xué)（CMU）的Baker和IBM的Jelinek等人將其應(yīng)用到語(yǔ)音識(shí)別之中，取得了很大的成功[1]。但是，HMM引起世界各國(guó)從事語(yǔ)音處理研究的學(xué)者們廣泛關(guān)注，并成為語(yǔ)音識(shí)別系統(tǒng)中構(gòu)建統(tǒng)計(jì)模型的重要手段，卻是20世紀(jì)80年代中期以后的事情，究其原因主要有兩個(gè)[1]：首先，HMM理論起先發(fā)表在數(shù)學(xué)雜志上，并未被很多從事語(yǔ)音處理研究的工程技術(shù)人員獲悉。其次，HMM首次應(yīng)用于語(yǔ)音處理時(shí)，并沒(méi)有提供足夠的一般性介紹，從而使得多數(shù)研究人員無(wú)法理解其基本理論并將其應(yīng)用到自己所從事的研究中去。直到1983年以后，Be

3、ll實(shí)驗(yàn)室的Rabiner等人發(fā)表了很有影響的一系列系統(tǒng)介紹HMM的理論和應(yīng)用的文章[1]上述狀況才得以根本改變。從上世紀(jì)80年代末開始，馬爾可夫模型和隱馬模型除了在語(yǔ)音識(shí)別領(lǐng)域繼續(xù)得到廣泛應(yīng)用外，從上世紀(jì)90年代初到現(xiàn)在，HMM開始用到許多新的領(lǐng)域，如：自然語(yǔ)言處理領(lǐng)域的詞性標(biāo)注（Part-of-speechTagging）[2～7]、命名實(shí)體識(shí)別[8]、特定信息抽取[9,10]、詞法分析等；生物信息學(xué)中HMM被廣泛用來(lái)分析基因序列[2,11]等。由于HMM是建立在馬爾可夫模型基礎(chǔ)之上的，因此，本文首先簡(jiǎn)要介紹馬爾可夫模型，然后對(duì)隱馬爾可夫模型的基本概

4、念、一般形式、三個(gè)基本問(wèn)題及其解決算法進(jìn)行詳細(xì)介紹，最后就隱馬爾可夫模型的應(yīng)用及當(dāng)前研究的熱點(diǎn)、難點(diǎn)進(jìn)行論述。2馬爾可夫模型馬爾可夫模型最早是由AndreiA.Markov于1913年提出的[2]10,它的最初始目的是為了語(yǔ)言上的應(yīng)用，即為俄國(guó)文學(xué)作品中的字母序列建模，隨后馬爾可夫模型發(fā)展成了一個(gè)通用的統(tǒng)計(jì)模型。為了區(qū)別于HMM，一般把馬爾可夫模型稱為顯馬爾可夫模型（VisibleMarkovModel，簡(jiǎn)稱VMM）。馬爾可夫模型描述了一類重要的隨機(jī)過(guò)程，該過(guò)程對(duì)應(yīng)了一個(gè)隨機(jī)變量序列（通常與時(shí)間有關(guān)），該序列滿足這樣的條件：序列中的隨機(jī)變量值只依賴于它前

5、面的隨機(jī)變量。這樣的隨機(jī)變量序列，通常稱為一個(gè)馬爾可夫鏈。在實(shí)際工作中有很多類似的系統(tǒng)，該系統(tǒng)有N個(gè)狀態(tài)S1，S2，……,SN,隨著時(shí)間的推移，該系統(tǒng)從某一狀態(tài)轉(zhuǎn)移到另一狀態(tài)。我們將在時(shí)間t的狀態(tài)記為qt。對(duì)該系統(tǒng)的描述通常需要給出系統(tǒng)的當(dāng)前狀態(tài)（時(shí)間為t的狀態(tài)）及其之前的所有狀態(tài)，這些狀態(tài)序列就構(gòu)成了隨機(jī)變量序列。綜上所述，我們可以給出馬爾可夫模型如下形式定義：假設(shè)一個(gè)取值為S={s1,s2,.,sN}的隨機(jī)變量序列X={X1,X2,.,XT}，當(dāng)該序列具有以下性質(zhì)：（1）有限視野性：即當(dāng)前狀態(tài)只與前n個(gè)狀態(tài)有關(guān),如公式2.1所示。P(qt=sj

6、qt

7、-1=si,qt-2=s,……)=P(qt=sj

8、qt-1=si,qt-2=s,…,qt-n)（2.1）如果在特定情況下，系統(tǒng)在時(shí)間t的狀態(tài)只與其在時(shí)間t-1的狀態(tài)相關(guān)，則該系統(tǒng)構(gòu)成一個(gè)離散的一階馬爾可夫鏈，公式2.1就簡(jiǎn)化為2.2：P(qt=sj

9、qt-1=si,qt-2=s,……)=P(qt=sj

10、qt-1=si)（2.2）（2）時(shí)間不變性：即只考慮公式2.2獨(dú)立于時(shí)間t的隨機(jī)過(guò)程，也就是說(shuō)對(duì)任何時(shí)間t該公式都成立。P(qt=sj

11、qt-1=si,qt-2=s,……)=P(qt=sj

12、qt-1=si)=aij1≤i，j≥N（2.3）該概率aij就稱為

13、狀態(tài)轉(zhuǎn)移概率。我們就稱該隨機(jī)變量序列為馬爾可夫鏈、或者一個(gè)馬爾可夫過(guò)程，這樣一個(gè)模型就稱為馬爾可夫模型。顯而易見(jiàn)一個(gè)馬爾可夫模型由以下幾個(gè)部分組成：狀態(tài)空間S={s1,s2,.,sN}隨機(jī)狀態(tài)序列變量X={X1,X2,.,XT}狀態(tài)轉(zhuǎn)移概率矩陣A={aij},1≤i≤N,1≤j≤N開始狀態(tài)向量Π={πi=P(X1=si)},1≤i≤N這樣，可以記一個(gè)馬爾可夫模型為一個(gè)四元組：λ＝{S，X，П，A}或簡(jiǎn)寫為一個(gè)二元組：λ＝{П，A}10馬爾可夫模型也可以用狀態(tài)轉(zhuǎn)換圖來(lái)表示[2]。在這個(gè)狀態(tài)轉(zhuǎn)換圖中，每個(gè)狀態(tài)轉(zhuǎn)移用一個(gè)轉(zhuǎn)換箭頭表示，每個(gè)狀態(tài)用一個(gè)結(jié)點(diǎn)表示。每

14、個(gè)箭頭從轉(zhuǎn)換前狀態(tài)結(jié)點(diǎn)指向轉(zhuǎn)換后的狀態(tài)結(jié)點(diǎn)，箭頭上標(biāo)有狀態(tài)間轉(zhuǎn)換概率。每個(gè)結(jié)點(diǎn)的