資源描述:
《參數(shù)估計與非參數(shù)估計2》由會員上傳分享,免費在線閱讀,更多相關內(nèi)容在教育資源-天天文庫。
1、第五章參數(shù)估計與非參數(shù)估計參數(shù)估計與監(jiān)督學習參數(shù)估計理論非參數(shù)估計理論§5-1參數(shù)估計與監(jiān)督學習貝葉斯分類器中只要知道先驗概率,條件概率或后驗概概率P(ωi),P(x/ωi),P(ωi/x)就可以設計分類器了。現(xiàn)在來研究如何用已知訓練樣本的信息去估計P(ωi),P(x/ωi),P(ωi/x)一.參數(shù)估計與非參數(shù)估計參數(shù)估計:先假定研究的問題具有某種數(shù)學模型,如正態(tài)分布,二項分布,再用已知類別的學習樣本估計里面的參數(shù)。非參數(shù)估計:不假定數(shù)學模型,直接用已知類別的學習樣本的先驗知識直接估計數(shù)學模型。二.監(jiān)督學習與無監(jiān)督學習監(jiān)督學習:在已知類別樣本指導下的學習
2、和訓練,參數(shù)估計和非參數(shù)估計都屬于監(jiān)督學習。無監(jiān)督學習:不知道樣本類別,只知道樣本的某些信息去估計,如:聚類分析?!?-2參數(shù)估計理論一.最大似然估計假定:①待估參數(shù)θ是確定的未知量②按類別把樣本分成M類X1,X2,X3,…XM其中第i類的樣本共N個Xi=(X1,X2,…XN)T并且是獨立從總體中抽取的③Xi中的樣本不包含(i≠j)的信息,所以可以對每一類樣本獨立進行處理。④第i類的待估參數(shù)根據(jù)以上四條假定,我們下邊就可以只利用第i類學習樣本來估計第i類的概率密度,其它類的概率密度由其它類的學習樣本來估計。1.一般原則:第i類樣本的類條件概率密度:P(X
3、i/ωi)=P(Xi/ωi﹒θi)=P(Xi/θi)原屬于i類的學習樣本為Xi=(X1,X2,…XN,)Ti=1,2,…M求θi的最大似然估計就是把P(Xi/θi)看成θi的函數(shù),求出使它最大時的θi值?!邔W習樣本獨立從總體樣本集中抽取的∴N個學習樣本出現(xiàn)概率的乘積取對數(shù):對θi求導,并令它為0:有時上式是多解的,上圖有5個解,只有一個解最大即.P(Xi/θi)2.多維正態(tài)分布情況①∑已知,μ未知,估計μ服從正態(tài)分布所以在正態(tài)分布時代入上式得所以這說明未知均值的最大似然估計正好是訓練樣本的算術平均。②∑,μ均未知A.一維情況:n=1對于每個學習樣本只有一
4、個特征的簡單情況:(n=1)由上式得即學習樣本的算術平均樣本方差討論:1.正態(tài)總體均值的最大似然估計即為學習樣本的算術平均2.正態(tài)總體方差的最大似然估計與樣本的方差不同,當N較大的時候,二者的差別不大。B.多維情況:n個特征(學生可以自行推出下式)估計值:結(jié)論:①μ的估計即為學習樣本的算術平均②估計的協(xié)方差矩陣是矩陣的算術平均(nⅹn陣列,nⅹn個值)二.貝葉斯估計最大似然估計是把待估的參數(shù)看作固定的未知量,而貝葉斯估計則是把待估的參數(shù)作為具有某種先驗分布的隨機變量,通過對第i類學習樣本Xi的觀察,使概率密度分布P(Xi/θ)轉(zhuǎn)化為后驗概率P(θ/Xi)
5、,再求貝葉斯估計。估計步驟:①確定θ的先驗分布P(θ),待估參數(shù)為隨機變量。②用第i類樣本xi=(x1,x2,….xN)T求出樣本的聯(lián)合概率密度分布P(xi
6、θ),它是θ的函數(shù)。③利用貝葉斯公式,求θ的后驗概率④下面以正態(tài)分布的均值估計為例說明貝葉斯估計的過程一維正態(tài)分布:已知σ2,估計μ假設概率密度服從正態(tài)分布P(X
7、μ)=N(μ,σ2),P(μ)=N(μ0,σ02)第i類學習樣本xi=(x1,x2,….xN)T,i=1,2,…M第i類概率密度P(x
8、μi,xi)=P(x
9、xi)所以后驗概率(貝葉斯公式)因為N個樣本是獨立抽取的,所以上式可以寫成其中為
10、比例因子,只與x有關,與μ無關∵P(Xk
11、μ)=N(μ,σ2),P(u)=N(μ0,σ02)其中a’,a’’包含了所有與μ無關的因子∴P(μ
12、xi)是u的二次函數(shù)的指數(shù)函數(shù)∴P(μ
13、xi)仍然是一個正態(tài)函數(shù),P(μ
14、Xi)=N(μN,σN2)另外后驗概率可以直接寫成正態(tài)形式:比較以上兩個式子,對應的系數(shù)應該相等∴解以上兩式得將μN,σN2代入P(μ
15、Xi)可以得到后驗概率,再用公式∴對μ的估計為若令P(μ)=N(μ0,σ02)=N(0,1)與最大似然估計相似,只是分母不同∵三.貝葉斯學習1.貝葉斯學習的概念:求出μ的后驗概率之后,直接去推導總體分布即當觀
16、察一個樣本時,N=1就會有一個μ的估計值的修正值當觀察N=4時,對μ進行修正,向真正的μ靠近當觀察N=9時,對μ進行修正,向真正的μ靠的更近當N↑,μN就反映了觀察到N個樣本后對μ的最好推測,而σN2反映了這種推測的不確定性,N↑,σN2↓,σN2隨觀察樣本增加而單調(diào)減小,且當N→∞,σN2→0當N↑,P(μ
17、xi)越來越尖峰突起N→∞,P(μ
18、xi)→σ函數(shù),這個過程成為貝葉斯學習。2.類概率密度的估計在求出u的后驗概率P(μ
19、xi)后,可以直接利用式推斷類條件概率密度。即P(x
20、xi)=P(x
21、ωi,xi)⑴一維正態(tài):已知σ2,μ未知∵μ的后驗概率為
22、結(jié)論:①把第i類的先驗概率P(ωi)與第i類概率密度P(x
23、xi)相乘可以得到第