資源描述：
《隱馬爾可夫模型HMM》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。
1、隱馬爾可夫模型?(HiddenMarkovModel，HMM)最初由L.E.Baum和其它一些學(xué)者發(fā)表在一系列的統(tǒng)計學(xué)論文中，隨后在語言識別，自然語言處理以及生物信息等領(lǐng)域體現(xiàn)了很大的價值。平時，經(jīng)常能接觸到涉及?HMM?的相關(guān)文章，一直沒有仔細研究過，都是蜻蜓點水，因此，想花一點時間梳理下，加深理解，在此特別感謝52nlp對?HMM?的詳細介紹。 考慮下面交通燈的例子，一個序列可能是紅-紅/橙-綠-橙-紅。這個序列可以畫成一個狀態(tài)機，不同的狀態(tài)按照這個狀態(tài)機互相交替，每一個狀態(tài)都只依賴于前一個狀態(tài)，如果當前的是綠燈，那么接下來就是橙燈，這是一個確定性系統(tǒng)，因
2、此更容易理解和分析，只要這些狀態(tài)轉(zhuǎn)移都是已知的。但是在實際當中還存在許多不確定性系統(tǒng)?！ ≡谌粘Ｉ町斨校覀兛偸窍Ｍ鶕?jù)當前天氣的情況來預(yù)測未來天氣情況，和上面的交通燈的例子不同，我們不能依靠現(xiàn)有知識確定天氣情況的轉(zhuǎn)移，但是我們還是希望能得到一個天氣的模式。一種辦法就是假設(shè)這個模型的每個狀態(tài)都只依賴于前一個的狀態(tài)，這個假設(shè)被稱為馬爾科夫假設(shè)，這個假設(shè)可以極大簡化這個問題。顯然，這個假設(shè)也是一個非常糟糕的假設(shè)，導(dǎo)致很多重要的信息都丟失了?！ ‘斏婕暗教鞖獾臅r候，馬爾科夫假設(shè)描述為，假設(shè)如果我們知道之前一些天的天氣信息，那么我們就能預(yù)測今天的天氣。當然，這個例子也
3、是有些不合實際的。但是，這樣一個簡化的系統(tǒng)可以有利于我們的分析，所以我們通常接受這樣的假設(shè)，因為我們知道這樣的系統(tǒng)能讓我們獲得一些有用的信息，盡管不是十分準確的?！ ≌劦?HMM，首先簡單介紹一下馬爾可夫過程?(MarkovProcess)，它因俄羅斯數(shù)學(xué)家安德烈·馬爾可夫而得名，代表數(shù)學(xué)中具有馬爾可夫性質(zhì)的離散隨機過程。該過程中，每個狀態(tài)的轉(zhuǎn)移只依賴于之前的n個狀態(tài)，這個過程被稱為1個n階的模型，其中n是影響轉(zhuǎn)移狀態(tài)的數(shù)目。最簡單的馬爾科夫過程就是一階過程，每一個狀態(tài)的轉(zhuǎn)移只依賴于其之前的那一個狀態(tài)。注意這和確定性系統(tǒng)不一樣，因為這種轉(zhuǎn)移是有概率的，而不是確定
4、性的?！ ●R爾可夫鏈是隨機變量?X1,…,?Xn?的一個數(shù)列。這些變量的范圍，即他們所有可能取值的集合，被稱為“狀態(tài)空間”，而?Xn?的值則是在時間?n?的狀態(tài)。如果?Xn+1?對于過去狀態(tài)的條件概率分布僅是?Xn?的一個函數(shù)，則 這里?x?為過程中的某個狀態(tài)。上面這個恒等式可以被看作是馬爾可夫性質(zhì)?！ ●R爾可夫鏈的在很多應(yīng)用中發(fā)揮了重要作用，例如，谷歌所使用的網(wǎng)頁排序算法（PageRank）就是由馬爾可夫鏈定義的。 下圖展示了天氣這個例子中所有可能的一階轉(zhuǎn)移： 注意一個含有N個狀態(tài)的一階過程有N2?個狀態(tài)轉(zhuǎn)移。每一個轉(zhuǎn)移的概率叫做狀態(tài)轉(zhuǎn)移概率?(stat
5、etransitionprobability)，就是從一個狀態(tài)轉(zhuǎn)移到另一個狀態(tài)的概率。這所有的N2?個概率可以用一個狀態(tài)轉(zhuǎn)移矩陣來表示，其表示形式如下： 對該矩陣有如下約束條件： 下面就是海藻例子的狀態(tài)轉(zhuǎn)移矩陣： 這個矩陣表示，如果昨天是晴天，那么今天有50%的可能是晴天，37.5%的概率是陰天，12.5%的概率會下雨，很明顯，矩陣中每一行的和都是1。 為了初始化這樣一個系統(tǒng)，我們需要一個初始的概率向量： 這個向量表示第一天是晴天。 到這里，我們就為上面的一階馬爾科夫過程定義了以下三個部分： 狀態(tài)：晴天、陰天和下雨 初始向量：定義系統(tǒng)在時間為0的
6、時候的狀態(tài)的概率 狀態(tài)轉(zhuǎn)移矩陣：每種天氣轉(zhuǎn)換的概率 所有的能被這樣描述的系統(tǒng)都是一個馬爾科夫過程?！ ∪欢?，當馬爾科夫過程不夠強大的時候，我們又該怎么辦呢？在某些情況下，馬爾科夫過程不足以描述我們希望發(fā)現(xiàn)的模式。 例如，一個隱居的人可能不能直觀的觀察到天氣的情況，但是民間傳說告訴我們海藻的狀態(tài)在某種概率上是和天氣的情況相關(guān)的。在這種情況下我們有兩個狀態(tài)集合，一個可以觀察到的狀態(tài)集合（海藻的狀態(tài)）和一個隱藏的狀態(tài)（天氣狀況）。我們希望能找到一個算法可以根據(jù)海藻的狀況和馬爾科夫假設(shè)來預(yù)測天氣的狀況。 一個更現(xiàn)實的例子是語音識別，我們聽到的聲音是聲帶、喉嚨和一
7、起其他的發(fā)音器官共同作用的結(jié)果。這些因素相互作用，共同決定了每一個單詞的聲音，而一個語音識別系統(tǒng)檢測的聲音（可以觀察的狀態(tài)）是人體內(nèi)部各種物理變化（隱藏的狀態(tài)、引申一個人真正想表達的意思）產(chǎn)生的?！ ∧承┱Z音識別設(shè)備把內(nèi)部的發(fā)音機制作為一個隱藏的狀態(tài)序列，把最后的聲音看成是一個和隱藏的狀態(tài)序列十分相似的可以觀察到的狀態(tài)的序列。在這兩個例子中，一個非常重要的地方是隱藏狀態(tài)的數(shù)目和可以觀察到的狀態(tài)的數(shù)目可能是不一樣的。在一個有3種狀態(tài)的天氣系統(tǒng)（sunny、cloudy、rainy）中，也許可以觀察到4種潮濕程度的海藻（dry、dryish、damp、soggy）。
8、在語音識別中，一個簡單的
