模式識別-3-貝葉斯決策理論ppt課件.ppt

《模式識別-3-貝葉斯決策理論ppt課件.ppt》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、第三章貝葉斯決策理論基礎(chǔ)知識貝葉斯決策分類正態(tài)分布決策理論幾種常用決策規(guī)則基于最小風(fēng)險的貝葉斯決策聶曼－皮爾遜決策最小最大決策序貫分類關(guān)于分類器的錯誤率分析§3-1基礎(chǔ)知識貝葉斯決策理論是統(tǒng)計(jì)模式識別中的基本理論之一，用其進(jìn)行分類時要求：各類別總體的概率分布是已知的；要決策分類的類別數(shù)是一定的。說明：若要研究的分類問題有c個類別，各類別狀態(tài)用表示，對應(yīng)于各個類別的先驗(yàn)概率為，類的條件密度函數(shù)為。對于稱為d維隨機(jī)特征向量，通過對被識別對象的多次觀察和測量（即采樣過程）得到；并將其作為某一個判決規(guī)則的輸入，按此規(guī)則來對樣本進(jìn)行分類。確定性特征向量與隨機(jī)特征向量確定性特征向量在

2、獲取模式的觀測值時，有些事物具有確定的因果關(guān)系，即在一定條件下，存在必然會發(fā)生或必然不發(fā)生的確定性，這樣獲得的特征向量稱為確定性特征向量。例如識別一塊模板是不是直角三角形，只要憑“三條直線邊閉合連線和一個直角”這個特征，測量它是否有三條直線邊的閉合連線并有一個直角，就完全可以確定它是不是直角三角形。這種現(xiàn)象是確定性的現(xiàn)象，比如上一講的線性模式判別就是基于這種現(xiàn)象進(jìn)行的。隨機(jī)特征向量在現(xiàn)實(shí)世界中，對于許多客觀現(xiàn)象的發(fā)生，就每一次觀察和測量來說，即使在基本條件保持不變的情況下也具有不確定性。只有在大量重復(fù)的觀察下，其結(jié)果才能呈現(xiàn)出某種規(guī)律性，即對它們觀察到的特征具有統(tǒng)計(jì)特性。

3、此時，特征向量不再是一個確定的向量，而是一個隨機(jī)向量。因此，只能利用模式集的統(tǒng)計(jì)特性來分類，以使分類器發(fā)生錯誤的概率最小。樣本概率、先驗(yàn)概率、條件概率與后驗(yàn)概率若模式空間樣本為x，分為類別，則有：樣本概率：模式空間的樣本x是通過多次觀察得到的，樣本點(diǎn)的出現(xiàn)具有隨機(jī)性，P(x)表示樣本x出現(xiàn)的概率，也就是在全體樣本中出現(xiàn)的概率。先驗(yàn)概率：對于多類問題，類別狀態(tài)出現(xiàn)的概率，稱為先驗(yàn)概率條件概率：在類別中，樣本x出現(xiàn)的概率，稱為條件概率后驗(yàn)概率：對于樣本x，其來自于類別的概率，稱為后驗(yàn)概率對x再觀察：有細(xì)胞光密度特征,有類條件概率密度:P(x/ωi)i=1,2,…，如右上圖所示

4、。利用貝葉斯公式：通過對細(xì)胞的再觀察，就可以把先驗(yàn)概率轉(zhuǎn)化為后驗(yàn)概率，利用后驗(yàn)概率可對未知細(xì)胞x進(jìn)行識別?！?-2貝葉斯決策分類器—最優(yōu)分類、最佳分類一、兩類問題例如：某地區(qū)，細(xì)胞識別問題：ω1正常細(xì)胞，ω2異常細(xì)胞。經(jīng)大量統(tǒng)計(jì)獲得先驗(yàn)概率為：P(ω1)，P(ω2)。若取該地區(qū)某人細(xì)胞x屬何種細(xì)胞，只能由先驗(yàn)概率決定。設(shè)N個樣本分為兩類ω1，ω2。每個樣本抽出n個特征，x=（x1，x2，x3，…，xn）T通過對細(xì)胞的再觀察，就可以把先驗(yàn)概率轉(zhuǎn)化為后驗(yàn)概率，利用后驗(yàn)概率可對未知細(xì)胞x進(jìn)行識別。1.判別函數(shù)：若已知先驗(yàn)概率P(ω1),P(ω2)，類條件概率密度P(x/ω1)，

5、P(x/ω2)。則可得貝葉斯判別函數(shù)四種形式：判別函數(shù)：2.決策規(guī)則：3.決策面方程：x為一維時，決策面為一點(diǎn)，x為二維時決策面為曲線，x為三維時，決策面為曲面，x大于三維時決策面為超曲面。例：某地區(qū)細(xì)胞識別；P(ω1)=0.9，P(ω2)=0.1未知細(xì)胞x，先從類條件概率密度分布曲線上查到：解：該細(xì)胞屬于正常細(xì)胞還是異常細(xì)胞，先計(jì)算后驗(yàn)概率：P(x/ω1)=0.2，P(x/ω2)=0.4g(x)閾值單元4.分類器設(shè)計(jì)：說明：所定義的決策規(guī)則實(shí)際上是使對每個樣本的分類錯誤取小，即使分類的平均錯誤率P(e)達(dá)到最小。因此，貝葉斯決策分類器具有最小錯誤率，稱為貝葉斯意義下的最

6、優(yōu)分類。二、多類情況：ωi=(ω1,ω2,…,ωm)，x=(x1,x2,…,xn)1.判別函數(shù)：M類有M個判別函數(shù)g1(x),g2(x),…,gM(x).每個判別函數(shù)有上面的四種形式。2.決策規(guī)則：另一種形式：3.決策面方程：4.分類器設(shè)計(jì)：g1(x)Max(g(x))g2(x)gn(x)一、正態(tài)分布判別函數(shù)1、為什么采用正態(tài)分布：a、正態(tài)分布在物理上是合理的、廣泛的。b、正態(tài)分布數(shù)學(xué)上簡單，N(μ,σ2)只有均值和方差兩個參數(shù)。2、單變量正態(tài)分布：§3-3正態(tài)分布決策理論3、（多變量）多維正態(tài)分布（1）函數(shù)形式：(2)、性質(zhì)：①、μ與∑對分布起決定作用P(x)=N(μ,

7、∑),μ由n個分量組成，∑由n(n+1)/2元素組成。∴多維正態(tài)分布由n+n(n+1)/2個參數(shù)組成。②、等密度點(diǎn)的軌跡是一個超橢球面。區(qū)域中心由μ決定，區(qū)域形狀由∑決定。③、不相關(guān)性等價于獨(dú)立性。若xi與xj互不相關(guān),則xi與xj一定獨(dú)立。④、邊緣分布與條件分布的正態(tài)性。⑤、線性變換的正態(tài)性Y=AX，A為線性變換矩陣。若X為正態(tài)分布，則Y也是正態(tài)分布。⑥、線性組合的正態(tài)性。判別函數(shù)：類條件概率密度用正態(tài)來表示：決策面方程：二、最小錯誤率(Bayes)分類器：從最小錯誤率這個角度來分析Bayes分類器1.第一種情況：各個特征統(tǒng)