資源描述:
《隱馬爾可夫模型簡(jiǎn)介》由會(huì)員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在應(yīng)用文檔-天天文庫(kù)。
1、隱馬爾可夫模型簡(jiǎn)介劉群2001-6-11X1X2XT…………O1O2OT…………假設(shè)對(duì)于一個(gè)隨機(jī)事件,有一個(gè)觀察值序列:O1,...,OT該事件隱含著一個(gè)狀態(tài)序列:X1,...,XT假設(shè)1:馬爾可夫假設(shè)(狀態(tài)構(gòu)成一階馬爾可夫鏈)p(Xi
2、Xi-1…X1)=p(Xi
3、Xi-1)假設(shè)2:不動(dòng)性假設(shè)(狀態(tài)與具體時(shí)間無關(guān))p(Xi+1
4、Xi)=p(Xj+1
5、Xj),對(duì)任意i,j成立假設(shè)3:輸出獨(dú)立性假設(shè)(輸出僅與當(dāng)前狀態(tài)有關(guān))p(O1,...,OT
6、X1,...,XT)=Πp(Ot
7、Xt)定義一個(gè)隱馬爾可夫模型(HMM)是一
8、個(gè)五元組:(ΩX,ΩO,A,B,π)其中:ΩX={q1,...qN}:狀態(tài)的有限集合ΩO={v1,...,vM}:觀察值的有限集合A={aij},aij=p(Xt+1=qj
9、Xt=qi):轉(zhuǎn)移概率B={bik},bik=p(Ot=vk
10、Xt=qi):輸出概率π={πi},πi=p(X1=qi):初始狀態(tài)分布問題令λ={A,B,π}為給定HMM的參數(shù),令σ=O1,...,OT為觀察值序列,隱馬爾可夫模型(HMM)的三個(gè)基本問題:評(píng)估問題:對(duì)于給定模型,求某個(gè)觀察值序列的概率p(σ
11、λ);解碼問題:對(duì)于給定模型和觀察值序
12、列,求可能性最大的狀態(tài)序列;學(xué)習(xí)問題:對(duì)于給定的一個(gè)觀察值序列,調(diào)整參數(shù)λ,使得觀察值出現(xiàn)的概率p(σ
13、λ)最大。算法評(píng)估問題:向前算法定義向前變量采用動(dòng)態(tài)規(guī)劃算法,復(fù)雜度O(N2T)解碼問題:韋特比(Viterbi)算法采用動(dòng)態(tài)規(guī)劃算法,復(fù)雜度O(N2T)學(xué)習(xí)問題:向前向后算法EM算法的一個(gè)特例,帶隱變量的最大似然估計(jì)算法:向前算法(一)定義前向變量為HMM在時(shí)間t輸出序列O1…Ot,并且位于狀態(tài)Si的概率:算法:向前算法(二)迭代公式為:結(jié)果為:變化連續(xù)輸出模型輸出矩陣變?yōu)槟撤N概率分布,如高斯分布多階轉(zhuǎn)移矩陣?yán)?/p>
14、:病情轉(zhuǎn)化假設(shè):某一時(shí)刻只有一種疾病,且只依賴于上一時(shí)刻疾病一種疾病只有一種癥狀,且只依賴于當(dāng)時(shí)的疾病癥狀(觀察值):發(fā)燒,咳嗽,咽喉腫痛,流涕疾病(狀態(tài)值):感冒,肺炎,扁桃體炎轉(zhuǎn)移概率:從一種疾病轉(zhuǎn)變到另一種疾病的概率輸出概率:某一疾病呈現(xiàn)出某一癥狀的概率初始分布:初始疾病的概率解碼問題:某人癥狀為:咳嗽→咽喉痛→流涕→發(fā)燒請(qǐng)問:其疾病轉(zhuǎn)化的最大可能性如何?例子:詞性標(biāo)注問題:已知單詞序列w1w2…wn,求詞性序列c1c2…cnHMM模型:將詞性為理解為狀態(tài)將單詞為理解為輸出值訓(xùn)練:統(tǒng)計(jì)詞性轉(zhuǎn)移矩陣[aij]
15、和詞性到單詞的輸出矩陣[bik]求解:Viterbi算法應(yīng)用語(yǔ)音識(shí)別音字轉(zhuǎn)換詞性標(biāo)注(POSTagging)組塊分析基因分析一般化:任何與線性序列相關(guān)的現(xiàn)象資源Rabiner,L.R.,ATutorialonHiddenMarkovModelsandSelectedApplicationsinSpeechRecognition,ProceedingsoftheIEEE,vol.77,no.2,Feb.1989,pgs257-285.Thereisalotofnotationbutverboseexplanations
16、accompany.翁富良,王野翊,計(jì)算語(yǔ)言學(xué)導(dǎo)論,中國(guó)社會(huì)科學(xué)出版社,1998HTK:HMMToolkitHiddenMarkovModel(HMM)WhitePaper(GeneMatcher)……總結(jié)HMM模型可以看作一種特定的BayesNetHMM模型等價(jià)于概率正規(guī)語(yǔ)法或概率有限狀態(tài)自動(dòng)機(jī)HMM模型可以用一種特定的神經(jīng)網(wǎng)絡(luò)模型來模擬優(yōu)點(diǎn):研究透徹,算法成熟,效率高,效果好,易于訓(xùn)練