em算法在高斯混合模型中的應用

《em算法在高斯混合模型中的應用》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學術(shù)論文-天天文庫。

1、EM算法及其在高斯混合模型中的應用EM算法在高斯混合模型中的應用1.定義對于一個隨機信號生成器，假設他的模型參數(shù)為，我們能觀測到的數(shù)據(jù)輸出為X，不能觀測到的數(shù)據(jù)輸出為Y，且隨機系統(tǒng)模型結(jié)構(gòu)的概率密度函數(shù)為（1）能夠觀測到的一部分數(shù)據(jù)輸出數(shù)據(jù)，模型的另一部分輸出數(shù)據(jù)未知,模型的參數(shù)也未知。EM算法就是要求我們從觀測數(shù)據(jù)中估計出參數(shù)。2.EM算法的描述假設每一對隨機系統(tǒng)的輸出樣本對于不同的n相互獨立，這樣當，x和y都已知的情況下，概率也已知。未觀測的輸出y的概率分布也屬于待求參數(shù)。根據(jù)獨立性假設有：（2）3.EM算法的基本思路基本問題是求解下

2、面的方程的解：（3）由于X是確定量，Y是未知的，因此即使給定了，也無法求得的值，因此我們只能退一步求：（4）其中（5）表示考慮了未知數(shù)據(jù)y的所有可能的取值Y后對求平均值。最后根據(jù)log函數(shù)的單調(diào)性得到（4）的等效形式：（6）對于(6)給出的最優(yōu)化問題，考慮用下面的遞推算法解決，即：先給定一個估值并計算，然后更新得到并且有（7）（8）其中，等號在時成立，即：（9）EM算法及其在高斯混合模型中的應用于是對的遞推算法（7）可通過進行，步驟為：1）令k=0，先給出估值2）然后找出滿足（10）3）k更新為k+1并返回步驟2)直到收斂令(11)處理后

3、(12)其中(13)4.EM算法與高斯混合模型在隨機系統(tǒng)模型中，假設是通道的隨機信號生成器的概率密度函數(shù)的參數(shù)，是選中通道的概率。記為。假設個隨機信號生成器和通道選擇隨機生成器是相互獨立的，從通道輸出的數(shù)據(jù)的概率是：(14)不考慮通信信息，輸出的概率為：(15)其中：：是第個通道隨機信號生成器的參數(shù)。：參數(shù)集合。觀測數(shù)據(jù)為一批隨機產(chǎn)生的輸出信號，并且每個輸出都是相互獨立的，而每個輸出來自哪個通道不可測。于是系統(tǒng)模型參數(shù)估計問題就變?yōu)橥ㄟ^有限的輸出樣本估計個通道參數(shù).應用（12）求解，其中可以簡化為：（16）其中：EM算法及其在高斯混合模型

4、中的應用這樣我們把和分別放在兩項里面，他們不相關(guān)，可以獨立考慮。在中應用約束條件：用拉格朗日乘子優(yōu)化得到：上式的含義是，選中號通道的概率估計是每個觀測數(shù)據(jù)來自于通道的條件概率（根據(jù)上一次估值估算）的平均。其中的通過下式得出。中的的優(yōu)化取決于分布函數(shù)的類型，對于為高斯分布時，其中是分布的均值，是方差。再經(jīng)過推導，有：①，②③通道參數(shù)得更新可以看作是對的加權(quán)，加權(quán)系數(shù)可以看成是根據(jù)上一次的參數(shù)估計算出來得率屬于通道的概率。最后，上面的EM算法可能收斂到局部極大點，因此需要選擇多個參數(shù)的初始值進行迭代計算，并選擇使得最大的解，最大的解可由下式算

5、出：EM算法及其在高斯混合模型中的應用5.EM算法在matlab中的實現(xiàn)利用上面推導出的公式①②③，我們以二個一維的高斯分布（,）來驗證EM算法的性能，首先用二個一維的高斯分布來建立一個高斯混合模型。假設：,其中與為混合系數(shù)，且有，我們要用EM算法估計混合系數(shù)和各一維高斯分布的均值和方差。并將利用EM算法估計出的值與真實值做比較，就可以得到該算法的性能。首先我們?nèi)〉恼鎸嵵禐椋?.4,0.6,1,2,0.25,0.36）這樣我們得到一個混合高斯分布，他的密度函數(shù)為,然后產(chǎn)生1000個服從的分布的觀測樣本點。接下來要做的就是對這1000個樣本

6、點用EM算法進行處理，來估計出一組的值。在使用EM算法時，要首先給設定一組初值這里假設初值為=0.3，=0.7，0.8，1.8，0.2，0.25Matlab具體程序如下：Y=zeros(1,10000);fori=1:10000ifrand(1)>0.3Y(i)=normrnd(2,sqrt(0.36),1,1);elseY(i)=normrnd(1,sqrt(0.25),1,1);endend%高斯混合模型A=[0.30.7];%設置參數(shù)的初值M=[0.81.8];%設置均值的初值S=[0.20.25];%設置方差的初值forn=1:1

7、000forj=1:2a3=0;a4=0;a5=0;fork=1:10000EM算法及其在高斯混合模型中的應用a1=0;fort=1:2a1=A(t)*1/sqrt(2*pi*S(t))*exp(-(Y(k)-M(t))^2/(2*S(t)))+a1;endf=A(j)*1/sqrt(2*pi*S(j))*exp(-(Y(k)-M(j))^2/(2*S(j)));a2=f/a1;a3=a2+a3;%a3對應公式a4=a2*Y(k)+a4;%a4對應公式a5=a2*(Y(k)-M(j))^2+a5;%a5對應公式endA(j)=a3/100

8、00;%循環(huán)更新系數(shù)值M(j)=a4/a3;%循環(huán)更新均值值S(j)=a5/a3;%循環(huán)更新方差值endend運行程序，查看變量A,M,S的值，與真實值比較一下，就可以得到用EM算法估計的高斯