資源描述：
《模式識(shí)別第二章 貝葉斯決策理論課件.ppt》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。
1、第三講貝葉斯決策理論參考書：中文教材：第二章p9-34，p42-432011-2012學(xué)年第二學(xué)期第二章貝葉斯決策理論2.1引言2.2貝葉斯決策理論2.3最小錯(cuò)誤率分類2.4最小風(fēng)險(xiǎn)決策2.5分類器、判別函數(shù)及決策面2.6正態(tài)密度2.7正態(tài)分布的判別函數(shù)2.8錯(cuò)誤率與積分第三講第四講2基本模式識(shí)別過程上一過程的數(shù)學(xué)表達(dá)：特征提取決策理論(判別準(zhǔn)則)根據(jù)決策理論計(jì)算理論結(jié)果，再用判別準(zhǔn)則得到識(shí)別或分類結(jié)果。Object(n個(gè)樣本)每個(gè)樣本有d個(gè)特征c個(gè)類別被觀測(cè)對(duì)象特征信息識(shí)別分類樣本空間Ω事件A劃分Bi模式識(shí)別PatternRecognitionCh.2分類器-基于Ba
2、yes決策理論貝葉斯決策理論例Thenthethresholdvalueis:Thresholdforminimumr4模式識(shí)別PatternRecognitionCh.2分類器-基于Bayes決策理論貝葉斯決策理論例2-1Thusmovestotheleftof(WHY?)Considerthereversesituationwhenthemovestotherightof?5知識(shí)點(diǎn)6小結(jié)(1)分類器設(shè)計(jì)時(shí)使用什么原則是關(guān)鍵---影響到分類器的效果。原則包括：錯(cuò)分率最小的原理。后驗(yàn)概率基于最小風(fēng)險(xiǎn)的貝葉斯決策的原理。(2)“風(fēng)險(xiǎn)”與“損失”風(fēng)險(xiǎn)系數(shù)損失：對(duì)某個(gè)樣本作第
3、i個(gè)決策的風(fēng)險(xiǎn)λ(αi
4、ωj)=λ(αi,ωj)7小結(jié)分類所用的計(jì)算式：比較所計(jì)算數(shù)值誰大誰??；稱為判別函數(shù)gi(X)。自變量是樣本X；如果，則稱特征空間的這一點(diǎn)X是第i類的決策域。由gi(X)占主導(dǎo)地位的區(qū)域稱為第i類的決策域，我們將它表示成Ri如果第i類決策域Ri與第j類決策域相鄰，則它們之間有邊界。在邊界上有g(shù)i(X)=gj(X),該式是一個(gè)方程式，稱為決策面方程。8學(xué)習(xí)目標(biāo)結(jié)合一種比較典型的概率分布：正態(tài)分布，進(jìn)一步基于最小錯(cuò)誤貝葉斯決策分析分類器的設(shè)計(jì)。什么叫正態(tài)分布，或高斯分布，是哪一種概率定義的？定義高斯分布的表達(dá)式：均值/協(xié)方差矩陣。將正態(tài)分布與基于最小
5、錯(cuò)誤率的貝葉斯決策結(jié)合高斯分布是指數(shù)函數(shù)，因此計(jì)算時(shí)常用對(duì)數(shù)使計(jì)算簡(jiǎn)化不同分類器的定義9正態(tài)分布下的Bayes決策貝葉斯公式中類條件概率和先驗(yàn)概率未知時(shí)需要進(jìn)行概率密度函數(shù)(probabilitydensityfunction,pdf)的估計(jì)。什么是正態(tài)分布？為何要用正態(tài)分布？正態(tài)分布在模式識(shí)別及其它信息處理應(yīng)用系統(tǒng)中，正態(tài)分布假設(shè)是對(duì)各種隨機(jī)變量使用得最普遍的假設(shè)正態(tài)分布在數(shù)學(xué)上比較簡(jiǎn)便。數(shù)學(xué)的簡(jiǎn)便性便于人們對(duì)統(tǒng)計(jì)識(shí)別方法進(jìn)行數(shù)學(xué)分析。在模式識(shí)別技術(shù)的研究中，用正態(tài)分布模型抽取設(shè)計(jì)樣本集與測(cè)試樣本集在數(shù)學(xué)上實(shí)現(xiàn)起來也比較方便。物理上的合理性，在許多實(shí)際應(yīng)用場(chǎng)合，如果同
6、一類樣本在特征空間內(nèi)的確較集中地分布在其類均值的附近，遠(yuǎn)離均值處分布較少，那么一般情況下以正態(tài)分布模型近似往往是比較合理的。11正態(tài)分布概率密度函數(shù)的定義與性質(zhì)一、單變量正態(tài)分布二、多元正態(tài)分布1.多元正態(tài)分布的概率密度函數(shù)2.多元正態(tài)分布的性質(zhì)13單變量正態(tài)分布單變量正態(tài)分布(NormalDistribution),即高斯分布(GaussDistribution)正態(tài)分布的pdf:其中，：x的期望(均值)，：標(biāo)準(zhǔn)差，：x的方差，單變量正態(tài)分布單變量正態(tài)分布的形狀完全由和來確定：P(x)x小大P(x)x相同P(x)x正態(tài)分布的樣本主要集中分布在其均值附近，其分散程度可用
7、標(biāo)準(zhǔn)差來衡量，σ愈大分散程度也越大。從正態(tài)分布的總體中抽取樣本，約有95%的樣本都落在區(qū)間(μ－2σ，μ+2σ)內(nèi)。正態(tài)密度16正態(tài)密度–討論正態(tài)分布是指一個(gè)隨機(jī)實(shí)數(shù)度量值在整個(gè)實(shí)數(shù)域上的分布規(guī)律。因此它屬于概率密度函數(shù)類，不是先驗(yàn)概率P(ωi)和后驗(yàn)概率P(ωi
8、X)，而是p(x
9、ωi)。通用公式，具體化后的公式：其中σi是對(duì)σ的具體化。17正態(tài)密度–討論請(qǐng)思考一下，正態(tài)分布(又稱高斯分布)以x為橫軸，y為縱軸畫出來是什么樣子？有沒有最高點(diǎn)？最高點(diǎn)的x坐標(biāo)是什么？σ的大小對(duì)你所畫的圖有什么影響？如果有兩種高斯分布μ1=μ2，σ1>σ2，你能將它們畫在一起嗎？?jī)烧哂惺裁?/p>
10、不同？Matlab實(shí)例-正態(tài)分布18多元正態(tài)分布多變量正態(tài)分布的pdf:式中：均值向量，；協(xié)方差矩陣，為的行列式。1×dd×1d×d與單變量中相對(duì)應(yīng)，變量間互不相關(guān)時(shí)是對(duì)角陣：正態(tài)密度參數(shù)的計(jì)算：?是向量x的期望，?＝E[x]=[μ1，μ2，…，μd]T?是矩陣(x-?)(x-?)t的期望，?=E[(x-?)(x-?)t]若xi是x的第i個(gè)分量，?i是的?第i個(gè)分量，?ij2是?的第i，j個(gè)元素，則：20正態(tài)密度協(xié)方差矩陣總是對(duì)稱非負(fù)定陣，且可以表示為其對(duì)角線上的元素是xi的方差，非對(duì)角線上的元素是xi和xj的協(xié)方差。如果各分量獨(dú)立，則非
