貝葉斯決策理論課件1).ppt

《貝葉斯決策理論課件1).ppt》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在PPT專區(qū)-天天文庫。

1、貝葉斯決策理論內(nèi)容引言幾種常用的決策準(zhǔn)則分類器設(shè)計基本概念模式分類：根據(jù)識別對象的觀測值確定其類別樣本與樣本空間：類別與類別空間：c個類別（類別數(shù)已知）決策把x分到哪一類最合理？理論基礎(chǔ)之一是統(tǒng)計決策理論決策：是從樣本空間S，到?jīng)Q策空間Θ的一個映射，表示為：D:S->Θ。評價決策有多種標(biāo)準(zhǔn)，對于同一個問題，采用不同的標(biāo)準(zhǔn)會得到不同意義下“最優(yōu)”的決策。Bayes決策常用的準(zhǔn)則主要有：基于最小錯誤率的貝葉斯決策基于最小風(fēng)險的貝葉斯決策在限定一類錯誤率條件下使另一類錯誤率為最小的兩類別決策(Neyman—Pearson決策)基于最小錯誤率

2、的貝葉斯決策引例：癌細(xì)胞的識別。（每個細(xì)胞抽象為d維向量x=（x1,x2,x3,…,xd），識別的目的是要將x分類為正常細(xì)胞或異常細(xì)胞。先驗概率類條件概率密度：p(x

3、w1)p(x

4、w2)x類條件概率密度貝葉斯公式：后驗概率P(?1

5、x)P(?2

6、x)后驗概率x1.00.00.5對于2分類問題：P(?1

7、x)+P(?2

8、x)=1決策規(guī)則：如果P(?1

9、x)>P(?2

10、x)類別狀態(tài)=?1如果P(?1

11、x)

12、x)類別狀態(tài)=?2簡寫為：后驗形式幾種等價形式：1、先驗形式2、似然比由先驗形式易知：即：似然比似然比閾值3、似然對數(shù)例：

13、某地區(qū)細(xì)胞識別；P(ω1)=0.9，P(ω2)=0.1未知細(xì)胞x，先從類條件概率密度分布曲線上查到：P(x/ω1)=0.2，P(x/ω2)=0.4問該細(xì)胞屬于正常細(xì)胞還是異常細(xì)胞。解：先計算后驗概率：P(e

14、x)=P(?2

15、x)判定為?1(錯誤選擇?2);因為決策規(guī)則為：如果P(?1

16、x)>P(?2

17、x)類別狀態(tài)=?1如果P(?1

18、x)

19、x)類別狀態(tài)=?2P(e

20、x)=P(?1

21、x)判定為?2(錯誤選擇?1);錯誤率分析因此，無論何時觀測到某一個特定值x，概率誤差為：因此，條件錯誤概率：P(e

22、x)=min[P(?1

23、x),

24、P(?2

25、x)]模式特征x是一個隨機(jī)變量，在應(yīng)用Bayes法則時，每當(dāng)觀察到一個模式時，得到特征x，就可利用后驗概率作出分類的決策，同時也會帶來一定的錯誤概率。若觀察到大量的模式，對它們作出決策的平均錯誤概率P(e)應(yīng)是P(e

26、x)的數(shù)學(xué)期望。平均錯誤率在整個d維特征空間上的積分從上式可知，如果對每次觀察到的特征值x，P(e

27、?)是盡可能小的話，則上式的積分必定是盡可能小的這就證實了最小錯誤率的Bayes決策法則。下面以兩類模式為例，從理論上給予證明：也可以寫為：對應(yīng)圖中黃色和橘紅色區(qū)域面積對多類決策（假設(shè)有c類），很容易寫出相應(yīng)的最

28、小錯誤率貝葉斯決策規(guī)則：形式一：形式二：多類別決策過程中，要把特征空間分割成c個區(qū)域，可能錯分的情況很多，平均錯誤概率P(e)將由c(c-1)項組成。直接求P(e)的計算量較大，將代之計算平均正確分類概率P(c),則：因此，P(e)=1-P(c)基于最小風(fēng)險的貝葉斯決策上述分類基于錯誤率最小化的所得到規(guī)則，但有時要考慮比錯誤率更廣泛的概念-----風(fēng)險。風(fēng)險與損失密切相連。比如對細(xì)胞分類固然盡可能正確判斷，但判錯了的后果將怎樣？正常?異常：精神負(fù)擔(dān)；異常?正常：失去進(jìn)一步治療的機(jī)會。顯然這兩種不同的錯誤判斷所造成損失的嚴(yán)重程度是有顯著

29、差別的，后者的損失比前者更嚴(yán)重。最小風(fēng)險貝葉斯決策正是考慮各種錯誤造成損失不同而提出的一種決策規(guī)則。狀態(tài)空間：設(shè){?1,?2,…,?c}是c個類別的集合。決策空間：設(shè){?1,?2,…,?a}是a種決策行為。損失函數(shù)：記?(?i

30、?j)是類別狀態(tài)為?j時采用決策行為為?i時所帶來的損失(風(fēng)險)。幾個基本概念：引入損失概念，考慮錯判所造成損失，不能只由后驗概率的大小來決策，而應(yīng)考慮所采取決策是否使損失最小。對于i=1,…,a，條件風(fēng)險R(?i

31、x)定義為：它是在c個類別狀態(tài)中任取某個狀態(tài)?j時，采用決策?i的風(fēng)險?(?i

32、?j)相對于后驗

33、概率P(?j/x)的條件期望。觀察值x是隨機(jī)向量，不同的觀察值x，采取決策?i時，其條件風(fēng)險的大小是不同的。所以，究竟采取哪一種決策將隨x的取值而定。決策?看成隨機(jī)向量x的函數(shù)，記為?(x),它也是一個隨機(jī)變量。我們可以定義期望風(fēng)險R：期望風(fēng)險R反映對整個特征空間上所有x的取值采取相應(yīng)的決策?(x)所帶來的平均風(fēng)險。條件風(fēng)險R(?i

34、x)只是反映對某一觀察值x，采取決策?i時，所有類別狀態(tài)下帶來風(fēng)險的平均值。顯然，我們要求采取的一系列決策行動?(x)使期望風(fēng)險R最小。如果在采取每一個決策或行動時，都使其條件風(fēng)險最小，則對給定的觀察值x

35、作出決策時，其期望風(fēng)險也必然最小。這樣的決策就是最小風(fēng)險貝葉斯決策。其規(guī)則為：已知先驗概率P(?j)、類條件概率密度p(x/?j),并給出待識別的x，根據(jù)貝葉斯公式，計算出后驗概率P(?j/x)。最小風(fēng)險貝葉斯決策步驟2