貝葉斯分類器gaippt課件.ppt

《貝葉斯分類器gaippt課件.ppt》由會員上傳分享，免費在線閱讀，更多相關內(nèi)容在教育資源-天天文庫。

1、第二章貝葉斯分類器2.1最小錯誤率判別規(guī)則2.2最小風險判別規(guī)則2.3分類器的錯誤率2.4奈曼-皮爾遜判別規(guī)則2.5最小最大判別規(guī)則模式識別的分類問題就是根據(jù)待識別對象的特征向量值及其它約束條件將其分到某個類別中去。統(tǒng)計決策理論是模式分類問題的基本理論之一,它對模式分析和分類器的設計有著實際的指導意義,貝葉斯(Bayes)決策方法是統(tǒng)計模式識別中的一個重要方法,是處理模式分類問題的基本理論之一。本章要討論的貝葉斯分類器在統(tǒng)計模式識別中被稱為最優(yōu)分類器。引言例1癌細胞識別問題:如何區(qū)分正常細胞與癌細胞?正常細胞癌細胞x1x2差異描述,特征選擇x1圓形度x2形心偏差度稱x為細胞的

2、特征向量或稱模式x5000個細胞的數(shù)據(jù)分布正常細胞類用ω1表示癌細胞類用ω2表示記x=(x1,x2)T采用貝葉斯方法必須滿足下列兩個條件:②各類別總體的概率分布是已知的。即P(ωi)與P(x/ωi)已知i=1,2,…,M其中P(ωi)稱為類先驗概率第i類出現(xiàn)的概率.P(x/ωi)稱為類條件概率第i類特征向量的概率密度函數(shù)①要決策分類的類別數(shù)是一定的；假設要研究的分類問題有M個類別，分別用ωi來表示，i＝1，2，…,M模式識別問題假設對象來自m個不同的類,用d個特征來描述對象.特征向量x=(x1,x2,...xd)T,x也稱為模式.特征(模式)空間S所有的特征(模式)構成的集合

3、.S為d維空間Rd的一個子集,模式x是S中的一個點.模式識別問題將模式空間劃分為m個不同的區(qū)域,使得每個區(qū)域?qū)揭粋€類x1x2錯識率也稱錯誤率,是判別分類器好壞的重要依據(jù)2.1最小錯誤率判別規(guī)則1.問題描述2.判別規(guī)則3.決策域.判別函數(shù)4.參數(shù)估計5.計算實例1.問題描述在模式分類問題中,人們往往希望盡量減少分類的錯誤.從這樣的要求出發(fā),利用Bayes公式,可得出使錯誤率最低的分類規(guī)則,稱之為基于最小錯誤率的貝葉斯分類決策癌細胞識別問題,設x為待識別的細胞,ω為其類別.ω=ω1表示x為正常細胞ω=ω2表示x為癌細胞如果只用類別先驗概率P(ω1)和P(ω2)來判別,會把所有

4、的待識別細胞都歸于正常類,根本達不到將正常細胞與癌細胞區(qū)分開來的目的計算后驗概率應充分利用待識細胞的特征向量x中所包含的信息.在給定x的情況下,類別ω1,ω2出現(xiàn)的概率P(ω1/x)與P(ω2/x)是不一樣的由引言中的假設,已知類別先驗概率P(ωi)i=1,2類別條件概率P(x/ωi)i=1,2由Bayes公式,P(ωi/x)=P(x/ωi)P(ωi)ΣjP(x/ωj)P(ωj)i=1,2稱為后驗概率，由此，可以判決x所屬的類別…2.判別規(guī)則Bayes公式是通過待識樣本提供的模式特征信息x將類先驗概率P(ωi)轉(zhuǎn)化為類后驗概率P(ωi/x)這樣,基于最小錯誤率的貝葉斯判別規(guī)則

5、為若P(ω1/x)>P(ω2/x)則判x∈ω1若P(ω2/x)>P(ω1/x)則判x∈ω2若P(ω1/x)=P(ω2/x)不能判定,拒判＞等價的判別規(guī)則①x∈ω*=ArgMax{P(ωi/x)}ωi②x∈ω*=ArgMax{P(x/ωi)P(ωi)}ωi③l(x)=P(x/ω1)P(x/ω2)P(ω2)P(ω1)＜x∈ω1x∈ω2④h(x)=-lnl(x)=-lnP(x/ω1)+lnP(x/ω2)＜＞P(ω1)P(ω2)lnx∈ω1x∈ω23.決策域.判別函數(shù)決策域:對于m類分類問題，按照判別規(guī)則可以把特征向量空間(或稱模式空間)分成m個互不相交的區(qū)域Ri,i=1,2,…,m

6、決策邊界:劃分決策域的邊界，在數(shù)學上用解析形式可以表示成決策邊界方程（等式）判別函數(shù):用于表達決策規(guī)則的某些函數(shù)。判別函數(shù)與決策邊界方程是密切相關的，而且它們都由相應的判別規(guī)則所確定。①gi(x)=P(ωi/x)i=1,2,…,m，后驗概率②gi(x)=P(x/ωi)P(ωi)i=1,2,…,m，①分子③gi(x)=lnP(x/ωi)+lnP(ωi)i=1,2,…,m若k=ArgMax{gi(x),i=1,2,…,m}則x∈ωk,稱gi(x)為第i類的判別函數(shù)不同的判別方法有不同的判別函數(shù)對每一類別,定義一個函數(shù)gi(x)i=1,2,…,m,且滿足下述gi(x)均為最小錯誤率

7、判別規(guī)則判別函數(shù).確定了判別函數(shù)，決策邊界也就確定下來了,相鄰的兩個決策域在決策邊界上其判別函數(shù)值是相等的。如果決策域Ri與Rj是相鄰的,則分割這兩個決策域的決策邊界方程應滿足：gi(x)＝gj(x)一般地說，模式x為二維時，決策邊界為一曲線；三維時，決策邊界為一曲面；d維(d＞3)時，決策邊界為一超曲面。一維時，決策邊界為一分界點；第i類決策域x1x2RiRj相鄰的決策域的決策邊界方程滿足gi(x)＝gj(x)決策邊界分類器設計分類器可看成是由硬件或軟件組成的“機器”，貝葉斯分類器的結構如下圖所示(m