em算法在統(tǒng)計(jì)自然語言處理中的應(yīng)用

《em算法在統(tǒng)計(jì)自然語言處理中的應(yīng)用》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、維普資訊http://www.cqvip.com第27卷第l9期計(jì)算機(jī)工程與設(shè)計(jì)2006年l0月VO1．27NO．19ComputerEngineeringandDesignOct．2006EM算法在統(tǒng)計(jì)自然語言處理中的應(yīng)用王繼曾，劉寬，任浩征，羅恒(蘭州理工大學(xué)計(jì)算機(jī)與通信學(xué)院，甘肅蘭州730050)摘要：在統(tǒng)計(jì)自然語言處理中會(huì)經(jīng)常遇到一類參數(shù)估值問題，就是當(dāng)觀察數(shù)據(jù)為不完全數(shù)據(jù)時(shí)如何求解參數(shù)的最大似然估計(jì)，EM算法就是解決這類問題的經(jīng)典算法。給出了EM算法的基本框架，結(jié)合HMM和PCFG模型給出如何應(yīng)用EM算法求解參數(shù)的極大似然估計(jì)，討論了EM算法的優(yōu)點(diǎn)

2、和不足之處。關(guān)鍵詞：自然語言；EM算法；參數(shù)估計(jì)；似然函數(shù)；隱馬爾科夫模型；概率上下丈無關(guān)文法中圖法分類號(hào)：TP391文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1000．7024(2006)19．3715．03ApplicationofEMalgorithminstatisticalnaturallanguageprocessingWANGJi—zeng，LIUKuan，RENHao—zheng，LUOHeng(SchoolofComputerandCommunication，LanzhouUniversityofTechnology，Lanzhou730050，China)

3、Abstract：Instatisticalnaturallanguageprocessing，oneclassproblemisoftenencounteredthathowtoestimatetheparameter'smaximum—likelihoodestimationwhenobserveddatasetisincomplete．EMalgorithmistheclassicalmethodtosolvethisproblem．Thebasicfra-meworkoftheEMalgorithmisdescribed，andthenhowtoap

4、plytheEMalgorithmisdemonstratedtosolvetheproblemofmaximum—likelihoodparametersestimationcombinewiththemodelsofHMMandPCFG．Finally,theadvantagesanddisadvantagesofEMalgo-rithmarediscussed．Keywords：naturallanguage；EMalgorithm；parameterestimation；likelihoodfunction；hiddenMarkovmodel；pro

5、babilisticcontextfreegrammar0引言EM算法求解參數(shù)的極大似然估計(jì)，最后給出了結(jié)論。1EM算法基本框架隨著大規(guī)模機(jī)器可讀語料庫的出現(xiàn)和計(jì)算機(jī)運(yùn)行速度和存儲(chǔ)容量的快速提高，經(jīng)驗(yàn)主義在自然語言處理領(lǐng)域也得本文給出的基本框架可以參見文獻(xiàn)[1～3]。EM算法的基到了迅速復(fù)興。基于統(tǒng)計(jì)學(xué)習(xí)方法的引入已經(jīng)使計(jì)算語言本思想是將問題求解分為兩步，即E步驟(對完全數(shù)據(jù)集似然學(xué)領(lǐng)域發(fā)生了極大的改變，這種學(xué)習(xí)方法能夠通過語料庫的函數(shù)的對數(shù)求條件期望)和M步驟(對求出的期望值進(jìn)行最大訓(xùn)練自動(dòng)或部分自動(dòng)處理語言學(xué)知識(shí)，對“知識(shí)獲取瓶頸”問化)，然后不斷地迭代

6、E步驟和M步驟，直到求出極大值點(diǎn)為題的解決具有重要意義。止。算法的形式化描述如下：但是，在統(tǒng)計(jì)自然語言處理中會(huì)經(jīng)常遇到這樣一類參數(shù)假定完全數(shù)據(jù)集為z=y)，數(shù)據(jù)集為觀察到的數(shù)據(jù)集，估值問題，就是當(dāng)可觀察數(shù)據(jù)為不完全數(shù)據(jù)時(shí)如何求解參數(shù)y為缺失(或隱藏)的數(shù)據(jù)集，則z在參數(shù)集@上的關(guān)于、Y的的最大似然估計(jì)。EM算法就是解決這類問題的經(jīng)典算法，聯(lián)合密度函數(shù)為p(zlO)=p(x,ylO)=pfylx，o~1o)，其中∈，∈EM(expectationmaximum)算法是由Dempster，Laird和Rubiny。此時(shí)完全數(shù)據(jù)集z的似然函數(shù)為L(Olz(@lYl

7、O)。于1997年提出來的，這種方法廣泛應(yīng)用于不完全數(shù)據(jù)的參EM算法的第1步(E步)就是找到對數(shù)似然函數(shù)logpYl數(shù)估計(jì)。@)在給定觀測數(shù)據(jù)集和當(dāng)前參數(shù)集@。時(shí)關(guān)于未知數(shù)據(jù)集EM算法有兩個(gè)主要的應(yīng)用“：一個(gè)是用于數(shù)據(jù)確有缺Y的期望值，也就是計(jì)算下式的值：失情況下的參數(shù)估計(jì)，另一個(gè)應(yīng)用是通過假定存在另外一些Q(@，0“’)=E[1ogp(X,Yl@)lx,o“’]缺失參數(shù)(這些參數(shù)可能是不存在的或隱藏的)，這樣可以大其中O就是經(jīng)過優(yōu)化后的新的參數(shù)集，使函數(shù)Q的值在新的大簡化似然函數(shù)。后一種在統(tǒng)計(jì)自然語言領(lǐng)域的應(yīng)用更為參數(shù)下不斷增加。普遍。本文首先給出了EM算

8、法通用的基本框架，然后結(jié)合EM算法的第2步(M步)為