隱馬爾科夫模型（HMM）.doc

《隱馬爾科夫模型（HMM）.doc》由會員上傳分享，免費在線閱讀，更多相關內容在教育資源-天天文庫。

1、隱馬爾科夫模型（HMM）第一章馬爾科夫模型簡介我們通常都習慣尋找一個事物在一段時間里的變化規(guī)律。在很多領域我們都希望找到這個規(guī)律，比如計算機中的指令順序，句子中的詞順序和語音中的詞順序等等。一個最適用的例子就是天氣的預測。隱馬爾可夫模型的理論基礎是在1970年前后由Baum等人建立起來的,隨后由CMU的Bakex和IBM的Jelinek等人將其應用到語音識別中。由于Bell實驗室的Rabine等人在80年代中期對HMM的深入淺出的介紹，才逐漸使HMM為世界各國的研究人員所了解和熟悉，進而在信息處理領域成為一個研究熱點

2、。關于模型的建立有兩種生成模式：確定性的和非確定性的。確定性的生成模式?：就好比日常生活中的紅綠燈，我們知道每個燈的變化規(guī)律是固定的。我們可以輕松的根據當前的燈的狀態(tài)，判斷出下一狀態(tài)。圖1.1確定性模型非確定性的生成模式：?比如說天氣晴、多云、和雨。與紅綠燈不同，我們不能確定下一時刻的天氣狀態(tài)，但是我們希望能夠生成一個模式來得出天氣的變化規(guī)律。我們可以簡單的假設當前的天氣只與以前的天氣情況有關，這被稱為馬爾科夫假設。雖然這是一個大概的估計，會丟失一些信息。但是這個方法非常適于分析。馬爾科夫過程就是當前的狀態(tài)只與前n個

3、狀態(tài)有關。這被稱作n階馬爾科夫模型。最簡單的模型就當n=1時的一階模型。就當前的狀態(tài)只與前一狀態(tài)有關。（這里要注意它和確定性生成模式的區(qū)別，這里我們得到的是一個概率模型）。下圖1.2是所有可能的天氣轉變情況：圖1.2天氣轉變圖對于有M個狀態(tài)的一階馬爾科夫模型，共有M*M個狀態(tài)轉移。每一個狀態(tài)轉移都有其一定的概率，我們叫做轉移概率，所有的轉移概率可以用一個矩陣表示。在整個建模的過程中，我們假設這個轉移矩陣是不變的。如圖1.3所示：圖1.3天氣轉變矩陣HMM是一個輸出符號序列的統(tǒng)計模型，有N個狀態(tài)S1,S2,·····S

4、N，它按一定的周期從一個狀態(tài)轉移到另一個狀態(tài)，每次轉移時，輸出一個符號。轉移到哪一個狀態(tài)，轉移時輸出什么符號，分別由狀態(tài)轉移概率和轉移時的輸出概率來決定。因為只能觀測到輸出符號序列，而不能觀測到狀態(tài)轉移序列（即模型輸出符號序列時，是通過了哪些狀態(tài)路徑，不能知道），所以稱為（HMM）隱藏的馬爾可夫模型。HMM是一種隨機過程，它用概率統(tǒng)計的方法來描述語音信號的變化過程。HMM與通常的Markov鏈的不同之處在于其觀察結果不是與狀態(tài)有確定的對應關系，而是系統(tǒng)所處狀態(tài)的概率函數，所以模型本身是隱藏的，它與觀察結果之間還有一層

5、隨機的關系。HMM是對語音信號的時間序列結構建立統(tǒng)計模型，將之看做一個數學上的雙重隨機過程：一個是用具有有限狀態(tài)的Markov鏈來模擬語音信號統(tǒng)計特性變化的隱含隨機過程，另一個是與Markov鏈的每一個狀態(tài)相關聯的觀測序列的隨機過程。前者通過后者表現出來，但前者的具體參數是不可測的，只有通過觀測序列的隨機過程才能表現出來。HMM組成示意圖，如圖1.4所示。圖1.4HMM組成示意圖馬爾科夫變換的一個實例：設有N個缸，每個缸中裝有很多彩球，球的顏色由一組概率分布描述。實驗進行方式如下：第一，根據初始概率分布，隨機選擇N個

6、缸中的一個開始實驗。第二，第二，根據缸中球顏色的概率分布，隨機選擇一個球，記球的顏色為O1，并把球放回缸中。第三，根據描述缸的轉移的概率分布，隨機選擇下一口缸，重復以上步驟。最后得到一個描述球的顏色的序列O1,O2,…，稱為觀察值序列O。用模型五元組λ＝（N,M,π,A,B）簡記為：λ=(π，A，B)，對于上面的例子，我們可以用下面的框圖簡單的把各個量的關系表示出來，如下圖2.1所示：圖2.1實例與馬爾科夫參數對應關系參數含義實例N狀態(tài)數目缸的數目M每個狀態(tài)可能的觀察值數目彩球顏色數目A與時間無關的狀態(tài)轉移概率矩陣在

7、選定某個缸的情況下，選擇另一個缸的概率B給定狀態(tài)下，觀察值概率分布每個缸中的顏色分布π初始狀態(tài)空間的概率分布初始時選擇某口缸的概率第二章馬爾科夫模型解決的幾個問題問題1：給定觀察序列O=O1,O2,…OT,以及模型λ=(π，A，B),如何計算P(O

8、λ)？這類問題是假設我們有一系列的HMM模型，來描述不同的系統(tǒng)（比如夏天的天氣變化規(guī)律和冬天的天氣變化規(guī)律），我們想知道哪個系統(tǒng)生成觀察狀態(tài)序列的概率最大。反過來說，把不同季節(jié)的天氣系統(tǒng)應用到一個給定的觀察狀態(tài)序列上，得到概率最大的哪個系統(tǒng)所對應的季節(jié)就是最有可能出現的季

9、節(jié)。（也就是根據觀察狀態(tài)序列，如何判斷季節(jié)）。在語音識別中也有同樣的應用。解決該問題比較經典的算法是：前向－后向算法。前向---后向算法（Forward-Backward，簡稱為F-B算法）是用來計算給定一個觀察值序列以及一個模型時，由模型λ=(π，A，B)產生出O的概率。前向算法：前向算法即按輸出觀察值序列的時間，從前向后遞推計算輸出概率?？?/p>