資源描述：
《模式識別之貝葉斯決策.pdf》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在工程資料-天天文庫。
1、第2章貝葉斯(Bayes)決策理論2.1引言（已知條件、欲求解的問題）2.2幾種常用的決策規(guī)則2.3正態(tài)分布時的統(tǒng)計決策2.4離散情況的貝葉斯決策2.5分類器的錯誤率問題2.1引言模式識別的分類問題：根據(jù)待識別對象的特征觀察值，將其分到某一個類別中Bayes決策理論的基本已知條件①已知決策分類的類別數(shù)為c，各類別的狀態(tài)為：?,ic?1,...,i②已知各類別總體的概率分布（各個類別出現(xiàn)的先驗概率和類條件概率密度函數(shù)）P(??),(x
2、p),i?1,...,ciiBayes決策理論欲解決的問題如果在特征空
3、間中觀察到某一個（隨機(jī)）向量x=(x,x,…,x)T12d那么，應(yīng)該將x分到哪一個類才是最合理的？2.2幾種常用的決策規(guī)則2.2.1基于最小錯誤率的Bayes決策2.2.2基于最小風(fēng)險的Bayes決策2.2.3Neyman-Pearson決策2.2.4最小最大決策2.2.5序貫分類方法2.2.1基于最小錯誤率的Bayes決策利用概率論中的Bayes公式進(jìn)行分類，可以得到錯誤率最小的分類規(guī)則已知條件①類別狀態(tài)的先驗概率P()?ip(x
4、?)②類條件概率密度iic?1,...,根據(jù)Bayes公式得到狀態(tài)的后
5、驗概率pP(x
6、??)()iiP(?
7、x)?ic?pP(x
8、??jj)()j?1后驗=似然x先驗/證據(jù)因子基本決策規(guī)則ifPP(??
9、x)?max(
10、x)thenx??ijijc?1,...,將x歸屬后驗概率最大的類別兩類情況下的Bayes決策規(guī)則及其變型①Bayes決策規(guī)則如果(PP?
11、x)??max(?
12、x),則x?ijij?1,2???1如果(PP??
13、x)(
14、x)則x??12
15、x)??max(?
16、x),則x?ijij?1,2pP(x
17、??)()iiP
18、(?
19、x)?ic?pP(x
20、??jj)()j?1如果(x
21、p?)(P?)??max(x
22、p?)(P?),則x?iijjij?1,2???1如果(x
23、p?)(P?)(x
24、p?)(P?)則x??1122
25、p?)(P?)(x
26、p?)(P?)則x??③變型211<22??2似然比似然比閾值pP(x
27、??12)?()??1如果(x)l??則x?pP(x
28、??)<()?21?2④變型3（取似然比的自然對數(shù)的負(fù)值）如果(x)hl??ln((x))?P()?1??1??ln((x
29、pp??))l
30、n((x
31、?))ln()則x??12>P()??2?2兩類的后驗概率相等時，采取的策略：?歸屬其中一類?拒絕（設(shè)置一個拒絕類，供進(jìn)一步分析）例：某地區(qū)細(xì)胞識別中，正常和異常細(xì)胞的先驗概率：P(ω)=0.9，P(ω)=0.112有未知細(xì)胞x，對應(yīng)的類條件概率密度：P(x
32、ω)=0.2，P(x
33、ω)=0.412判別該細(xì)胞屬于正常細(xì)胞還是異常細(xì)胞？解：先計算后驗概率：px(
34、??)(P)0.20.9?11Px(?
35、)???0.818120.20.90.40.1????px(
36、??jj)(P)j?1P(??
37、)
38、x??1P(
39、)x?0.18221屬于正常細(xì)胞，注意：先驗概率起主導(dǎo)作用如果先驗概率相等，則屬于異常細(xì)胞正確分類與錯誤分類?正確分類：將樣本歸屬到樣本本身所屬的類別?錯誤分類：將樣本歸屬到非樣本本身所屬的類別?3?1?2以一維、兩類情況為例，證明Bayes規(guī)則使分類錯誤率最?。ㄆ骄╁e誤率定義為????Pe()????Pexdx(,)Pexpxdx(
40、)()????條件錯誤概率Bayes決策規(guī)則：if(PP?
41、x)>(?
42、x)thenx??121此時，x(ω2)的條件錯誤概率Px(?2
43、)if(PP?
44、
45、x)>(?
46、x)thenx??212此時，x(ω1)的條件錯誤概率Px(?1
47、)Px(?
48、)1Px(?
49、)2?P(?
50、),(xifP?
51、)x?P(?
52、)x121Pex(
53、)??條件錯誤概率?P(?
54、),(xifP?
55、)x?P(?
56、)x212pP(x
57、??)()iiP(?
58、x)?icBayes公式?pP(x
59、??jj)()j?1P(?
60、x)(x)p?p(x
61、?)(P?)iiicpx()??px(
62、??ii)(P)i?1全概率公式??平均錯誤率Pe()??Pexpxdx(
63、)()???px(
64、?)(P?),
65、(ifP?
66、)x?P(?
67、)x1121Pexpx(
68、)()???px(
69、?)(P?),(ifP?
70、)x?P(?
71、)x2212t是兩類的分界點，x軸分成兩個區(qū)間t??Pe()??px(
72、?)(P?)dxpx(
73、?)(P?)dx??2211??t紅＋黃綠只有當(dāng)t取兩類后驗概率相等的點時，錯誤率才是最小的（黃顏色區(qū)域變成零）Pe()??P(?)px(
74、?)dxP(?)px(
75、?)dx2??211??12??P(??)Pe()P()()Pe2211
