資源描述:
《參數(shù)估計(jì)與非參數(shù)估計(jì)1》由會員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在教育資源-天天文庫。
1、第五章參數(shù)估計(jì)與非參數(shù)估計(jì)參數(shù)估計(jì)與監(jiān)督學(xué)習(xí)參數(shù)估計(jì)理論非參數(shù)估計(jì)理論§5-1參數(shù)估計(jì)與監(jiān)督學(xué)習(xí)貝葉斯分類器中只要知道先驗(yàn)概率,條件概率或后驗(yàn)概概率P(ωi),P(x/ωi),P(ωi/x)就可以設(shè)計(jì)分類器了。現(xiàn)在來研究如何用已知訓(xùn)練樣本的信息去估計(jì)P(ωi),P(x/ωi),P(ωi/x)一.參數(shù)估計(jì)與非參數(shù)估計(jì)參數(shù)估計(jì):先假定研究的問題具有某種數(shù)學(xué)模型,如正態(tài)分布,二項(xiàng)分布,再用已知類別的學(xué)習(xí)樣本估計(jì)里面的參數(shù)。非參數(shù)估計(jì):不假定數(shù)學(xué)模型,直接用已知類別的學(xué)習(xí)樣本的先驗(yàn)知識直接估計(jì)數(shù)學(xué)模型。二.監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)監(jiān)督
2、學(xué)習(xí):在已知類別樣本指導(dǎo)下的學(xué)習(xí)和訓(xùn)練,參數(shù)估計(jì)和非參數(shù)估計(jì)都屬于監(jiān)督學(xué)習(xí)。無監(jiān)督學(xué)習(xí):不知道樣本類別,只知道樣本的某些信息去估計(jì),如:聚類分析?!?-2參數(shù)估計(jì)理論一.最大似然估計(jì)假定:①待估參數(shù)θ是確定的未知量②按類別把樣本分成M類X1,X2,X3,…XM其中第i類的樣本共N個Xi=(X1,X2,…XN)T并且是獨(dú)立從總體中抽取的③Xi中的樣本不包含(i≠j)的信息,所以可以對每一類樣本獨(dú)立進(jìn)行處理。④第i類的待估參數(shù)根據(jù)以上四條假定,我們下邊就可以只利用第i類學(xué)習(xí)樣本來估計(jì)第i類的概率密度,其它類的概率密度由其它類的
3、學(xué)習(xí)樣本來估計(jì)。1.一般原則:第i類樣本的類條件概率密度:P(Xi/ωi)=P(Xi/ωi﹒θi)=P(Xi/θi)原屬于i類的學(xué)習(xí)樣本為Xi=(X1,X2,…XN,)Ti=1,2,…M求θi的最大似然估計(jì)就是把P(Xi/θi)看成θi的函數(shù),求出使它最大時(shí)的θi值。∵學(xué)習(xí)樣本獨(dú)立從總體樣本集中抽取的∴N個學(xué)習(xí)樣本出現(xiàn)概率的乘積取對數(shù):對θi求導(dǎo),并令它為0:有時(shí)上式是多解的,上圖有5個解,只有一個解最大即.P(Xi/θi)2.多維正態(tài)分布情況①∑已知,μ未知,估計(jì)μ服從正態(tài)分布所以在正態(tài)分布時(shí)代入上式得所以這說明未知均值
4、的最大似然估計(jì)正好是訓(xùn)練樣本的算術(shù)平均。②∑,μ均未知A.一維情況:n=1對于每個學(xué)習(xí)樣本只有一個特征的簡單情況:(n=1)由上式得即學(xué)習(xí)樣本的算術(shù)平均樣本方差討論:1.正態(tài)總體均值的最大似然估計(jì)即為學(xué)習(xí)樣本的算術(shù)平均2.正態(tài)總體方差的最大似然估計(jì)與樣本的方差不同,當(dāng)N較大的時(shí)候,二者的差別不大。B.多維情況:n個特征(學(xué)生可以自行推出下式)估計(jì)值:結(jié)論:①μ的估計(jì)即為學(xué)習(xí)樣本的算術(shù)平均②估計(jì)的協(xié)方差矩陣是矩陣的算術(shù)平均(nⅹn陣列,nⅹn個值)二.貝葉斯估計(jì)最大似然估計(jì)是把待估的參數(shù)看作固定的未知量,而貝葉斯估計(jì)則是把待
5、估的參數(shù)作為具有某種先驗(yàn)分布的隨機(jī)變量,通過對第i類學(xué)習(xí)樣本Xi的觀察,使概率密度分布P(Xi/θ)轉(zhuǎn)化為后驗(yàn)概率P(θ/Xi),再求貝葉斯估計(jì)。估計(jì)步驟:①確定θ的先驗(yàn)分布P(θ),待估參數(shù)為隨機(jī)變量。②用第i類樣本xi=(x1,x2,….xN)T求出樣本的聯(lián)合概率密度分布P(xi
6、θ),它是θ的函數(shù)。③利用貝葉斯公式,求θ的后驗(yàn)概率④下面以正態(tài)分布的均值估計(jì)為例說明貝葉斯估計(jì)的過程一維正態(tài)分布:已知σ2,估計(jì)μ假設(shè)概率密度服從正態(tài)分布P(X
7、μ)=N(μ,σ2),P(μ)=N(μ0,σ02)第i類學(xué)習(xí)樣本xi=(x1,
8、x2,….xN)T,i=1,2,…M第i類概率密度P(x
9、μi,xi)=P(x
10、xi)所以后驗(yàn)概率(貝葉斯公式)因?yàn)镹個樣本是獨(dú)立抽取的,所以上式可以寫成其中為比例因子,只與x有關(guān),與μ無關(guān)∵P(Xk
11、μ)=N(μ,σ2),P(u)=N(μ0,σ02)其中a’,a’’包含了所有與μ無關(guān)的因子∴P(μ
12、xi)是u的二次函數(shù)的指數(shù)函數(shù)∴P(μ
13、xi)仍然是一個正態(tài)函數(shù),P(μ
14、Xi)=N(μN(yùn),σN2)另外后驗(yàn)概率可以直接寫成正態(tài)形式:比較以上兩個式子,對應(yīng)的系數(shù)應(yīng)該相等∴解以上兩式得將μN(yùn),σN2代入P(μ
15、Xi)可以得到后
16、驗(yàn)概率,再用公式∴對μ的估計(jì)為若令P(μ)=N(μ0,σ02)=N(0,1)與最大似然估計(jì)相似,只是分母不同∵三.貝葉斯學(xué)習(xí)1.貝葉斯學(xué)習(xí)的概念:求出μ的后驗(yàn)概率之后,直接去推導(dǎo)總體分布即當(dāng)觀察一個樣本時(shí),N=1就會有一個μ的估計(jì)值的修正值當(dāng)觀察N=4時(shí),對μ進(jìn)行修正,向真正的μ靠近當(dāng)觀察N=9時(shí),對μ進(jìn)行修正,向真正的μ靠的更近當(dāng)N↑,μN(yùn)就反映了觀察到N個樣本后對μ的最好推測,而σN2反映了這種推測的不確定性,N↑,σN2↓,σN2隨觀察樣本增加而單調(diào)減小,且當(dāng)N→∞,σN2→0當(dāng)N↑,P(μ
17、xi)越來越尖峰突起N→
18、∞,P(μ
19、xi)→σ函數(shù),這個過程成為貝葉斯學(xué)習(xí)。2.類概率密度的估計(jì)在求出u的后驗(yàn)概率P(μ
20、xi)后,可以直接利用式推斷類條件概率密度。即P(x
21、xi)=P(x
22、ωi,xi)⑴一維正態(tài):已知σ2,μ未知∵μ的后驗(yàn)概率為結(jié)論:①把第i類的先驗(yàn)概率P(ωi)與第i類概率密度P(x
23、xi)相乘可以得到第