貝葉斯決策理論與統(tǒng)計(jì)判別方法

貝葉斯決策理論與統(tǒng)計(jì)判別方法

ID:37967127

大小:1.66 MB

頁數(shù):55頁

時(shí)間:2019-06-04

貝葉斯決策理論與統(tǒng)計(jì)判別方法_第1頁
貝葉斯決策理論與統(tǒng)計(jì)判別方法_第2頁
貝葉斯決策理論與統(tǒng)計(jì)判別方法_第3頁
貝葉斯決策理論與統(tǒng)計(jì)判別方法_第4頁
貝葉斯決策理論與統(tǒng)計(jì)判別方法_第5頁
資源描述:

《貝葉斯決策理論與統(tǒng)計(jì)判別方法》由會(huì)員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、模式識(shí)別徐蔚然北京郵電大學(xué)信息工程學(xué)院本節(jié)和前節(jié)的關(guān)系上節(jié):基本概念階段性的總結(jié)本節(jié):概念具體化結(jié)合一種比較典型的概率分布來進(jìn)一步基于最小錯(cuò)誤貝葉斯決策分類器的種種情況本節(jié)重點(diǎn)什么叫正態(tài)分布高斯分布的表達(dá)式如何將正態(tài)分布與基于最小錯(cuò)誤率的貝葉斯決策結(jié)合起來如何簡(jiǎn)化方式表示正態(tài)分布即時(shí)思考正態(tài)分布?正態(tài)分布是以哪一位科學(xué)家的名字命名的?正態(tài)分布又稱什么?所謂正態(tài)分布是先驗(yàn)概率、類條件概率密度函數(shù)、還是后驗(yàn)概率而言的?為什么正態(tài)分布假設(shè)是使用得最普遍的假設(shè)?正態(tài)分布時(shí)的統(tǒng)計(jì)決策研究正態(tài)分布的原因數(shù)學(xué)上比較簡(jiǎn)單物理上的合理性單變量正態(tài)分布單變量正態(tài)分布單變量正態(tài)分布概率

2、密度函數(shù)定義為μ表示隨機(jī)變量x的數(shù)學(xué)期望σ2為其方差,而σ則稱為標(biāo)準(zhǔn)差。Aunivariatenormaldistributionhasroughly95%ofitsareaintherange

3、x?μ

4、≤2σ,asshown.Thepeakofthedistributionhasvaluep(μ)=1/√2πσ.單變量正態(tài)分布單變量正態(tài)分布思考:正態(tài)分布,或高斯分布是先驗(yàn)概率P(ωi),還是分布P(X

5、ωi),還是后驗(yàn)概率P(ωi

6、X)?不是我們所討論的先驗(yàn)概率P(ωi),也不是后驗(yàn)概率P(ωi

7、X),而是p(x

8、ωi)。單變量正態(tài)分布單變量正態(tài)分布具體化其中ω

9、i,σi分別是對(duì)ω及σ的具體化。多元正態(tài)分布多元正態(tài)分布μ是X的均值向量,也是d維,μ=E{X}=[μ1,μ2,…,μd]TΣ是d×d維協(xié)方差矩陣Σ-1是Σ的逆矩陣

10、Σ

11、是Σ的行列式Σ=E{(X-μ)(X-μ)T}Σ是非負(fù)矩陣,在此我們只考慮正定陣,即

12、Σ

13、>0。多元正態(tài)分布討論二元正態(tài)分布二維向量,是一個(gè)隨機(jī)向量,每一個(gè)分量都是隨機(jī)變量,服從正態(tài)分布不僅要求考慮每個(gè)分量單獨(dú)的分布,還要考慮兩個(gè)隨機(jī)變量之間的關(guān)系Samplesdrawnfromatwo-dimensionalGaussianlieinacloudcenteredonthemean.Theellip

14、sesshowlinesofequalprobabilitydensityoftheGaussian.兩個(gè)二元正態(tài)分布的各個(gè)分量相同,(即期望(μ1和μ2)方差σ1和σ2都相同),但這兩個(gè)特征向量在空間的分布卻不相同多元正態(tài)分布協(xié)方差矩陣用E[(x2-μ2)](x1-μ1)]來衡量相關(guān)性,稱為協(xié)方差,用符號(hào)Σ表示協(xié)方差越大,說明兩個(gè)變量的相關(guān)度越高非對(duì)角元素正表示了兩個(gè)分量之間的相關(guān)性主對(duì)角元素則是各分量本身的方差二維向量的協(xié)方差矩陣多元正態(tài)分布協(xié)方差矩陣協(xié)方差矩陣并不只對(duì)正態(tài)分布有用特性:協(xié)方差矩陣是一個(gè)對(duì)稱矩陣特性:協(xié)方差矩是正定的多元正態(tài)分布的性質(zhì)(1)參數(shù)

15、μ與Σ對(duì)分布具有決定性與單變量相似,記作p(X)~N(μ,Σ)(2)等密度點(diǎn)分布在超橢球面上(x-μ)TΣ-1(x-μ)=常數(shù)二維時(shí)表示一個(gè)橢圓,在三維表示橢球,在高維是表示超橢球(X-μ)TΣ-1(X-μ)稱為向量X到向量μ的Mahalanobis距離的平方,即r2=(x-μ)TΣ-1(x-μ)可將mahalanolbis距離與歐氏距離作比較前者是一個(gè)橢圓,而后者則是圓多元正態(tài)分布的性質(zhì)(3)多元正態(tài)分布的離散程度由參數(shù)

16、Σ

17、1/2決定與單變量時(shí)由標(biāo)準(zhǔn)差σ決定是對(duì)應(yīng)一致的(4)不相關(guān)性等價(jià)于獨(dú)立性兩個(gè)隨機(jī)變量不相關(guān):E[xixj]=E[xi]·E[xj]兩個(gè)隨機(jī)

18、變量統(tǒng)計(jì)獨(dú)立:p(xixj)=p(xi)p(xj)兩個(gè)隨機(jī)變量不相關(guān),不意味著它們一定獨(dú)立相互獨(dú)立的隨機(jī)變量,它們之間是不相關(guān)的正態(tài)分布中不相關(guān)性等價(jià)于獨(dú)立性多元正態(tài)分布的性質(zhì)(5)邊緣分布和條件分布的正態(tài)性多元正態(tài)分布的邊緣分布和條件分布仍然是正態(tài)分布(6)線性變換的正態(tài)性這是指多元正態(tài)分布的隨機(jī)向量的線性變換仍然是多元正態(tài)分布的隨機(jī)向量(7)線性組合的正態(tài)性這是指多元正態(tài)分布的隨機(jī)向量,在經(jīng)過線性組合后得到的一維隨機(jī)變量也是正態(tài)分布的。Theactionofalineartransformationonthefeaturespacewillconvertana

19、rbitrarynormaldistributionintoanothernormaldistribution.A,takesthesourcedistributionintodistributionN(At,AtA)aprojectionPontoalinedefinedbyvectora—leadstoN(μ,σ2)measuredalongthatlineAwhiteningtransform,Aw,leadstoacircularlysymmetricGaussian正態(tài)分布概率模型下的最小錯(cuò)誤率貝葉斯決策最小錯(cuò)誤率決策規(guī)則因此判別函數(shù)為是多元正態(tài)分布,判

20、別函數(shù)采用

當(dāng)前文檔最多預(yù)覽五頁,下載文檔查看全文

此文檔下載收益歸作者所有

當(dāng)前文檔最多預(yù)覽五頁,下載文檔查看全文
溫馨提示:
1. 部分包含數(shù)學(xué)公式或PPT動(dòng)畫的文件,查看預(yù)覽時(shí)可能會(huì)顯示錯(cuò)亂或異常,文件下載后無此問題,請(qǐng)放心下載。
2. 本文檔由用戶上傳,版權(quán)歸屬用戶,天天文庫負(fù)責(zé)整理代發(fā)布。如果您對(duì)本文檔版權(quán)有爭(zhēng)議請(qǐng)及時(shí)聯(lián)系客服。
3. 下載前請(qǐng)仔細(xì)閱讀文檔內(nèi)容,確認(rèn)文檔內(nèi)容符合您的需求后進(jìn)行下載,若出現(xiàn)內(nèi)容與標(biāo)題不符可向本站投訴處理。
4. 下載文檔時(shí)可能由于網(wǎng)絡(luò)波動(dòng)等原因無法下載或下載錯(cuò)誤,付費(fèi)完成后未能成功下載的用戶請(qǐng)聯(lián)系客服處理。