數(shù)據(jù)挖掘十大經(jīng)典算法(9) 樸素貝葉斯分類器

《數(shù)據(jù)挖掘十大經(jīng)典算法(9) 樸素貝葉斯分類器》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、數(shù)據(jù)挖掘十大經(jīng)典算法(9)樸素貝葉斯分類器　　貝葉斯分類器的分類原理是通過某對(duì)象的先驗(yàn)概率，利用貝葉斯公式計(jì)算出其后驗(yàn)概率，即該對(duì)象屬于某一類的概率，選擇具有最大后驗(yàn)概率的類作為該對(duì)象所屬的類。目前研究較多的貝葉斯分類器主要有四種，分別是：NaiveBayes、TAN、BAN和GBN?！　∝惾~斯網(wǎng)絡(luò)是一個(gè)帶有概率注釋的有向無環(huán)圖，圖中的每一個(gè)結(jié)點(diǎn)均表示一個(gè)隨機(jī)變量,圖中兩結(jié)點(diǎn)間若存在著一條弧，則表示這兩結(jié)點(diǎn)相對(duì)應(yīng)的隨機(jī)變量是概率相依的，反之則說明這兩個(gè)隨機(jī)變量是條件獨(dú)立的。網(wǎng)絡(luò)中任意一個(gè)結(jié)點(diǎn)X均有一個(gè)相應(yīng)的條件概率表(Condi

2、tionalProbabilityTable，CPT)，用以表示結(jié)點(diǎn)X在其父結(jié)點(diǎn)取各可能值時(shí)的條件概率。若結(jié)點(diǎn)X無父結(jié)點(diǎn),則X的CPT為其先驗(yàn)概率分布。貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)及各結(jié)點(diǎn)的CPT定義了網(wǎng)絡(luò)中各變量的概率分布?！　∝惾~斯分類器是用于分類的貝葉斯網(wǎng)絡(luò)。該網(wǎng)絡(luò)中應(yīng)包含類結(jié)點(diǎn)C，其中C的取值來自于類集合(c1,c2,...,cm)，還包含一組結(jié)點(diǎn)X=(X1,X2,...,Xn)，表示用于分類的特征。對(duì)于貝葉斯網(wǎng)絡(luò)分類器，若某一待分類的樣本D，其分類特征值為x=(x1,x2,...,xn)，則樣本D屬于類別ci的概率P(C=ci

3、X

4、1=x1,X2=x2,...,Xn=xn)，(i=1,2,...,m)應(yīng)滿足下式：　　P(C=ci

5、X=x)=Max{P(C=c1

6、X=x),P(C=c2

7、X=x),...,P(C=cm

8、X=x)}　　而由貝葉斯公式：　　P(C=ci

9、X=x)=P(X=x

10、C=ci)*P(C=ci)/P(X=x)　　其中，P(C=ci)可由領(lǐng)域?qū)＜业慕?jīng)驗(yàn)得到,而P(X=x

11、C=ci)和P(X=x)的計(jì)算則較困難?！　?yīng)用貝葉斯網(wǎng)絡(luò)分類器進(jìn)行分類主要分成兩階段。第一階段是貝葉斯網(wǎng)絡(luò)分類器的學(xué)習(xí)，即從樣本數(shù)據(jù)中構(gòu)造分類器，包括結(jié)構(gòu)學(xué)習(xí)和CPT學(xué)習(xí)；

12、第二階段是貝葉斯網(wǎng)絡(luò)分類器的推理，即計(jì)算類結(jié)點(diǎn)的條件概率，對(duì)分類數(shù)據(jù)進(jìn)行分類。這兩個(gè)階段的時(shí)間復(fù)雜性均取決于特征值間的依賴程度，甚至可以是NP完全問題，因而在實(shí)際應(yīng)用中，往往需要對(duì)貝葉斯網(wǎng)絡(luò)分類器進(jìn)行簡化。根據(jù)對(duì)特征值間不同關(guān)聯(lián)程度的假設(shè)，可以得出各種貝葉斯分類器，NaiveBayes、TAN、BAN、GBN就是其中較典型、研究較深入的貝葉斯分類器。樸素貝葉斯　　分類是將一個(gè)未知樣本分到幾個(gè)預(yù)先已知類的過程。數(shù)據(jù)分類問題的解決是一個(gè)兩步過程：第一步,建立一個(gè)模型，描述預(yù)先的數(shù)據(jù)集或概念集。通過分析由屬性描述的樣本（或?qū)嵗?，?duì)象等

13、）來構(gòu)造模型。假定每一個(gè)樣本都有一個(gè)預(yù)先定義的類，由一個(gè)被稱為類標(biāo)簽的屬性確定。為建立模型而被分析的數(shù)據(jù)元組形成訓(xùn)練數(shù)據(jù)集，該步也稱作有指導(dǎo)的學(xué)習(xí)?！　≡诒姸嗟姆诸惸Ｐ椭?，應(yīng)用最為廣泛的兩種分類模型是決策樹模型(DecisionTreeModel)和樸素貝葉斯模型（NaiveBayesianModel，NBC）。決策樹模型通過構(gòu)造樹來解決分類問題。首先利用訓(xùn)練數(shù)據(jù)集來構(gòu)造一棵決策樹，一旦樹建立起來，它就可為未知樣本產(chǎn)生一個(gè)分類。在分類問題中使用決策樹模型有很多的優(yōu)點(diǎn)，決策樹便于使用，而且高效；根據(jù)決策樹可以很容易地構(gòu)造出規(guī)則，而

14、規(guī)則通常易于解釋和理解；決策樹可很好地?cái)U(kuò)展到大型數(shù)據(jù)庫中，同時(shí)它的大小獨(dú)立于數(shù)據(jù)庫的大??；決策樹模型的另外一大優(yōu)點(diǎn)就是可以對(duì)有許多屬性的數(shù)據(jù)集構(gòu)造決策樹。決策樹模型也有一些缺點(diǎn)，比如處理缺失數(shù)據(jù)時(shí)的困難，過度擬合問題的出現(xiàn)，以及忽略數(shù)據(jù)集中屬性之間的相關(guān)性等?！　『蜎Q策樹模型相比，樸素貝葉斯模型發(fā)源于古典數(shù)學(xué)理論，有著堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ)，以及穩(wěn)定的分類效率。同時(shí)，NBC模型所需估計(jì)的參數(shù)很少，對(duì)缺失數(shù)據(jù)不太敏感，算法也比較簡單。理論上，NBC模型與其他分類方法相比具有最小的誤差率。但是實(shí)際上并非總是如此，這是因?yàn)镹BC模型假設(shè)屬性之

15、間相互獨(dú)立，這個(gè)假設(shè)在實(shí)際應(yīng)用中往往是不成立的，這給NBC模型的正確分類帶來了一定影響。在屬性個(gè)數(shù)比較多或者屬性之間相關(guān)性較大時(shí)，NBC模型的分類效率比不上決策樹模型。而在屬性相關(guān)性較小時(shí)，NBC模型的性能最為良好。　　樸素貝葉斯模型：　　----　　Vmap=argmaxP(Vj

16、a1,a2...an)　　Vj屬于V集合　　其中Vmap是給定一個(gè)example,得到的最可能的目標(biāo)值.　　其中a1...an是這個(gè)example里面的屬性.　　這里面,Vmap目標(biāo)值,就是后面計(jì)算得出的概率最大的一個(gè).所以用max來表示　　----

17、　　貝葉斯公式應(yīng)用到P(Vj

18、a1,a2...an)中.　　可得到Vmap=argmaxP(a1,a2...an

19、Vj)P(Vj)/P(a1,a2...an)　　又因?yàn)闃闼刎惾~斯分類器默認(rèn)a1...an他們互相獨(dú)立的.　　所以P(a1,a2...an)對(duì)于結(jié)果沒