聚類-EM算法.ppt

《聚類-EM算法.ppt》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。

1、例1：為了調(diào)查學(xué)校學(xué)生身高，隨機(jī)抽樣n個(gè)男生和m個(gè)女生，設(shè)身高服從正態(tài)分布，試確定男女生對(duì)應(yīng)的均值與方差。極大似然估計(jì)例2：設(shè)某組零件的不合格率p，抽樣n個(gè)零件，其中t個(gè)不合格零件，試估計(jì)不合格率p。例3：若例1中男女生數(shù)據(jù)混合無(wú)法區(qū)分，即只知總?cè)藬?shù)，試確定男女生對(duì)應(yīng)的均值與方差。分析：該問(wèn)題含兩個(gè)正態(tài)分布，每個(gè)樣本有2種參數(shù)需要估計(jì)：第一、每個(gè)樣本屬于1還是2（隱藏的標(biāo)簽）？第二、每一類樣本的均值與方差？1、若隱藏的標(biāo)簽已知，則由極大似然估計(jì)易得均值與方差；2、若均值與方差已知，則可以進(jìn)一步調(diào)整樣本標(biāo)簽；1’、樣本標(biāo)簽已被隱藏，可假設(shè)隱藏標(biāo)簽已知，寫出（對(duì)

2、數(shù)）似然函數(shù)表達(dá)式對(duì)隱藏的標(biāo)簽取期望后，再采用極大似然估計(jì)的均值與方差；EM(expectaion-maximization)期望--最大化方法混合Gauss模型給定N個(gè)觀測(cè)樣本，滿足如下混合形式的概率：求混合分布的三組參數(shù)EM算法流程：1、任意給出高斯分布的參數(shù)，需要保證2、Expectation步：3、Maximum步：用最大似然估計(jì)重新估計(jì)均值、方差和權(quán)重。4、返回第2步，直到各參數(shù)的值變化小于指定精度e一般的EM算法EM算法改進(jìn)關(guān)于初始點(diǎn)的選擇初始值的獲取可以通過(guò)k-means算法，層次聚類算法或者是對(duì)數(shù)據(jù)進(jìn)行隨機(jī)的分割.[1]重復(fù)利用EM，CEM和

3、SEM進(jìn)行初始點(diǎn)的選擇.[2][1]McLachlan,G.J.andNg,S.K.(2008).TheEMalgorithm.[2]ChristopheBiernachi,GillesCeleux,GerardGovaert.(2003).ChoosingstartingvaluesfortheEMalgorithmforgettingthehighestlikelihoodinmultivariateGaussianmixturemodels.11EM屬于聚類算法，其主要缺點(diǎn)收斂速度慢;算法高度依賴初始值的選擇.12例：