02貝葉斯決策

《02貝葉斯決策》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。

第二章貝葉斯決策理論§2.1基于最小錯誤率的貝葉斯判別法§2.2基于貝葉斯公式的幾種判別規(guī)則§2.3正態(tài)分布模式的統(tǒng)計決策§2.4概率密度函數(shù)的估計§2.5貝葉斯分類器的錯誤概率1

1第二章貝葉斯決策理論模式識別的分類問題就是根據(jù)待識客體的特征向量值及其它約束條件將其分到各個類別中去。貝葉斯決策理論是處理模式分類問題的基本理論之一。貝葉斯分類器在統(tǒng)計模式識別中被稱為最優(yōu)分類器。貝葉斯分類器分類器必須滿足下列兩個先決條件：1，要決策分類的類別數(shù)是一定的；2，各類別總體的概率分布是已知的。2

2§2.1基于最小錯誤率的貝葉斯判別法Bayes分類器—最優(yōu)分類器、最佳分類器一、兩類問題例如：細(xì)胞識別問題ω1正常細(xì)胞，ω2異常細(xì)胞某地區(qū)，經(jīng)大量統(tǒng)計獲先驗概率P(ω1),P(ω2)若取該地區(qū)某人細(xì)胞x屬何種細(xì)胞，只能由先驗概率決定。3

3對x再觀察：有細(xì)胞光密度特征,其類條件概率密度:P(x/ω?)?=1,2,…。如圖所示通過對細(xì)胞的再觀察，就可以把先驗概率轉(zhuǎn)化為后驗概率，利用后驗概率可對未知細(xì)胞x進(jìn)行識別。利用貝葉斯公式：4

4設(shè)N個樣本分為兩類ω1，ω2。每個樣本抽出n個特征，x=（x1，x2，x3，…，xn）T1、判別函數(shù)：若已知先驗概率P(ω1),P(ω2)，類條件概率密度P(x/ω1)，P(x/ω2)。則可得貝葉斯判別函數(shù)四種形式：5

52、決策規(guī)則：6

63、決策面方程：g(x)=0x為一維時，決策面為一點，x為二維時決策面為曲線，x為三維時，決策面為曲面，x大于三維時決策面為超曲面。例：某地區(qū)細(xì)胞識別；P(ω1)=0.9，P(ω2)=0.1未知細(xì)胞x，先從類條件概率密度分布曲線上查到：解：該細(xì)胞屬于正常細(xì)胞還是異常細(xì)胞，先計算后驗概率：P(x/ω1)=0.2，P(x/ω2)=0.47

7g(x)閾值單元4、分類器設(shè)計：8

8二、多類情況：ω?=(ω1,ω2,…,ωm)，x=(x1,x2,…,xn)1.判別函數(shù)：M類有M個判別函數(shù)g1(x),g2(x),…,gm(x).每個判別函數(shù)有上面的四種形式。2.決策規(guī)則：另一種形式：3、決策面方程：9

9g1(x)Maxg(x)g2(x)gn(x)4、分類器設(shè)計：貝葉斯公式可以有幾種形式的判別法則，針對具體問題可以選取合適的形式。不管選取何種形式，其基本思想均是要求判別歸屬時依概率最大作出決策，這樣的結(jié)果就是分類的錯誤率最小。貝葉斯分類器遵循最小錯誤貝斯決策規(guī)則10

10很明顯，各類別在多維特征空間中為決策面或界面所分割。這些決策面是特征空間中的超曲面。相鄰的兩個類別在決策面上的判別函數(shù)值是相等的。如果ωi和ωj是相鄰的，則分割它們的決策面就應(yīng)為di(x)=dj(x)或di(x)-dj(x)=0對于兩類問題，決策面方程：P(x|ω1)P(ω1)-P(x|ω2)P(ω2)=011

11§2.2基于貝葉斯公式的幾種判別規(guī)則一、基于最小風(fēng)險的貝葉斯決策在某些情況下，引入風(fēng)險的概念，以求風(fēng)險最小的決策則更為合理。例如對癌細(xì)胞的識別，要判斷某人是正常(ω1)還是患者(ω2),在判斷中可能出現(xiàn)以下情況：判對(正?！?λ11；判錯(正?！惓?λ21；判對(異?！惓?λ22；判錯(異常→正常)λ12。風(fēng)險的概念比錯誤率似乎更恰當(dāng)。識別的正確與否，直接關(guān)系到病人的身體甚至生命。風(fēng)險的概念常與損失相聯(lián)系，損失則用損失函數(shù)表示。12

121.損失函數(shù)：損失函數(shù)公式：意義：表示當(dāng)處于狀態(tài)時且采取決策所帶來的損失。損失函數(shù)λii=λ(αi/ωi)表示模式X本來屬于ωi類而錯判為ωi所受損失。因為這是正確判決，故損失最小。損失函數(shù)λij=λ(αi/ωj)表示模式X本來屬于ωj類錯判為ωi所受損失。因為這是錯誤判決，故損失最大。13

13狀態(tài)損失決策ω1ω2…ωj…ωmα1……α2…………αi…………αα……表示：在決策論中，常以決策表表示各種情況下的決策損失。14

142.風(fēng)險R（期望損失）：對未知x采取判決行動α(x)所付出的代價（損耗）行動αi：表示把模式x判決為ωi類的一次動作。條件風(fēng)險：將模式x判屬某類所造成的損失的條件數(shù)學(xué)期望。已知先驗概率P(ωj)及類條件概率密度P(x|ωj)，j=1,2,…m。根據(jù)貝葉斯公式，后驗概率為其中當(dāng)引入“損失”的概念，考慮錯判所造成的損失時，就不能只根據(jù)后驗概率的大小來作決策，而必須考慮所采取的決策是否使損失最小。15

15對于給定的x，如果采取決策，從決策表可見，對應(yīng)于決策，可以在m個,j=1,2,…m當(dāng)中任取一個，其相應(yīng)概率為P(ωj|x)。因此在采取決策情況下的條件期望損失即條件風(fēng)險為：條件風(fēng)險R(αi|x)只反映對某一x的取值采取決策αi所帶來的風(fēng)險?？梢杂脕砼袆e分類。16

16期望風(fēng)險R式中dx是特征空間的體積元，積分在整個特征空間進(jìn)行。（在整個特征空間中定義期望風(fēng)險）。期望風(fēng)險R反映對整個特征空間所有x的取值采取相應(yīng)的決策α(x)所帶來的平均風(fēng)險。對于x的不同觀察值，采取決策αi時，其條件風(fēng)險的大小是不同的。所以，究竟采取哪一種決策將隨x的取值而定。決策α可以看成隨機(jī)向量x的函數(shù)，記為α(x)。17

174.最小風(fēng)險貝葉斯決策思想：分類識別決策時，根據(jù)類的概率和概率密度，考慮誤判的損失代價。決策應(yīng)是統(tǒng)計意義上使由于誤判而蒙受的損失最小。如果在采取每一個決策或行動時，都使其條件風(fēng)險最小，則對所有的x作出決策時，其期望風(fēng)險也必然最小。（條件平均損失最小的判決也必然使總的平均損失最小。）18

185.最小風(fēng)險貝葉斯決策規(guī)則如果：19

196.判決實施步驟：（1）在已知P(ωj),P(x|ωj),j=1,2,…m，并給出待識別的x的情況下，根據(jù)貝葉斯公式計算出后驗概率：j=1,2,…m（2）利用計算出的后驗概率及決策表，計算出采取αi(i=1,2,…α)的條件風(fēng)險。（3）按確定αk--最小風(fēng)險貝葉斯決策20

20最小風(fēng)險貝葉斯決策除了要有符合實際情況的先驗概率P(ωj)及類條件概率密度P(x|ωj)外，還必須要有合適的損失函數(shù)。實際工作中要列出合適的決策表很不容易，往往要根據(jù)所研究的具體問題，分析錯誤決策造成損失的嚴(yán)重程度來確定。21

217.錯誤率最小的貝葉斯決策規(guī)則與風(fēng)險最小的貝葉斯決策規(guī)則的聯(lián)系在采用0-1損失函數(shù)時，最小風(fēng)險貝葉斯決策就等價于最小錯誤率貝葉斯決策。0-1損失函數(shù)對于正確決策（即i=j），=0，就是說沒有損失；而對于任何錯誤決策，其損失均為122

22二類問題：把x歸于ω1時風(fēng)險：把x歸于ω2時風(fēng)險：23

2324

24二、聶曼-皮爾遜決策法（N-P判決）1.問題的提出：(1)某些二類判決問題，某一種錯誤較另一種錯誤更為重要—危害更為嚴(yán)重。(2)先驗概率未知。2.基本思想：嚴(yán)格限制較重要的一類錯誤概率，在令其等于某常數(shù)的約束下使另一類誤判概率最小。25

25例如在癌細(xì)胞識別中，我們已經(jīng)認(rèn)識到把異常誤判為正常的損失更為嚴(yán)重，常常要求這種誤判為錯誤率P2(e)很小，即P2(e)=是一個很小的常數(shù)，在這種條件下再要求P1(e)即把正常誤判為異常的錯誤率盡可能地小。所以這樣的決策可看成是在P2(e)=0條件下，求P1(e)極小值的條件極值問題。26

263.決策規(guī)則按Lagrange乘子法建立如下數(shù)學(xué)模型：r=P1(e)+(P2(e)-0)R1是類別ω1的區(qū)域，R2是類別ω2的區(qū)域，而R1+R2=Rs，Rs為整個特征空間。也就是說，決策作出之后，整個特征空間分割成不相交的兩個區(qū)域R1和R2，若樣本x落入R1，就判定屬于ω1類，反之則屬于ω2類。根據(jù)類條件概率密度的性質(zhì)，有：27

27由此式分別對x和求導(dǎo)，令有滿足的最佳值和滿足的邊界面就能使r極小。28

28N-P決策規(guī)則如果：則：N-P決策規(guī)則歸結(jié)為找閾值。29

294.最小錯誤率貝葉斯決策規(guī)則與N-P決策聶曼——皮爾遜決策規(guī)則與最小錯誤率貝葉斯決策規(guī)則都是以似然比為基礎(chǔ)的，所不同的只是最小錯誤率決策所用的閾值是先驗概率之比P(ω2)/P(ω1)，而聶曼——皮爾遜決策所用的閾值則是Lagrange乘子。30

30例：兩類的模式分布為二維正態(tài)協(xié)方差矩陣為單位矩陣∑1=∑2=I，設(shè)ε2＝0.09求聶曼皮爾遜準(zhǔn)則.解：31

3132

32所以此時聶曼——皮爾遜分類器的分界線為：由圖可知為保證ε2足夠小，邊界應(yīng)向ω1一側(cè)靠，則ε1↑λ與ε2的關(guān)系表如右：λ421??ε20.040.090.160.250.3833

33三、最小最大決策如果對給定的x，其P(ωi)不變，按照貝葉斯決策規(guī)則，可以使錯誤率最小或風(fēng)險最小。但如果P(ωi)是可變的，或事先對先驗概率毫無所知，若再按某個固定的P(ωi)條件下的決策規(guī)則來進(jìn)行決策就往往得不到最小錯誤率或最小風(fēng)險。最小最大決策討論在P(ωi)變化時如何使最大可能風(fēng)險最小。34

34二類問題:假定損失函數(shù)—當(dāng)時，決策為的損失，—當(dāng)時，決策為的損失，則為時決策和的損失。通常作出錯誤決策總是比作出正確決策所帶來的損失要大，即再假定兩類區(qū)域Ω1和Ω2已確定，則風(fēng)險R與先驗概率P(ω1)關(guān)系:35

35先驗概率P(ω1)與風(fēng)險R間的變化關(guān)系如下：36

36風(fēng)險值在（a,a+b）的范圍內(nèi)變化，其最大風(fēng)險為a+b。37

37這樣，就得出最小風(fēng)險與先驗概率的關(guān)系曲線，如圖所示：38

38上式證明，所選的判別邊界，使兩類的錯誤概率相等：這時可使最大可能的風(fēng)險為最小，這時先驗概率變化，其風(fēng)險不變39

39迄今為止所討論的分類問題，關(guān)于待分類樣本的所有信息都是一次性提供的。但是，在許多實際問題中，觀察實際上是序貫的。隨著時間的推移可以得到越來越多的信息。假設(shè)對樣品進(jìn)行第i次觀察獲取一序列特征為：X=(x1,x2,…,xi)T則對于ω1，ω2兩類問題,若X∈ω1，則判決完畢若X∈ω2，則判決完畢若X不屬ω1也不屬ω2，則不能判決，進(jìn)行第i+1次觀察，得X=(x1,x2,…,xi,,xi+1)T，再重復(fù)上面的判決，直到所有的樣品分類完畢為止。這樣做的好處是使那些在二類邊界附近的樣本不會因某種偶然的微小變化而誤判，當(dāng)然這是以多次觀察為代價的。四、序貫分類決策?40

40由最小錯誤概率的Bayes判決，對于兩類問題，似然比為41

41現(xiàn)在來確定A、B的值。因為42

4243

43序貫分類決策規(guī)則：上下門限A、B是由設(shè)計給定的錯誤概率P1(e),P2(e)來確定的，Wald已證明，觀察次數(shù)不會很大，它收斂的很快。44

44演講完畢，謝謝觀看！