資源描述：
《貝葉斯網(wǎng)貝葉斯分類器.ppt》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。
1、北京第七章貝葉斯分類器機(jī)器學(xué)習(xí)2018.09.02圖形繪制圖片處理圖表設(shè)計(jì)典型案例*貝葉斯決策論1346Contents目錄*25極大似然估計(jì)樸素貝葉斯分類器半樸素貝葉斯分類器貝葉斯網(wǎng)EM算法機(jī)器學(xué)習(xí)貝葉斯分類器圖形繪制圖片處理圖表設(shè)計(jì)典型案例*貝葉斯決策論1346Chapter7*25極大似然估計(jì)樸素貝葉斯分類器半樸素貝葉斯分類器貝葉斯網(wǎng)EM算法機(jī)器學(xué)習(xí)貝葉斯分類器圖形繪制判別式vs.生成式貝葉斯定理*貝葉斯準(zhǔn)則7.1貝葉斯決策論貝葉斯決策論（Bayesiandecisiontheory）概率框架下實(shí)施決策的基本理論
2、。對(duì)于分類任務(wù)：基于已知相關(guān)概率和誤判損失選擇最優(yōu)類別標(biāo)記后驗(yàn)概率尋找一個(gè)判定準(zhǔn)則h以最小化總體風(fēng)險(xiǎn)：給定N個(gè)類別標(biāo)記，令λij代表將第j類樣本誤分類為第i類所產(chǎn)生的損失，則基于后驗(yàn)概率，可知，將樣本x分到第i類的條件風(fēng)險(xiǎn)（risk）為：圖形繪制判別式vs.生成式貝葉斯定理*貝葉斯準(zhǔn)則7.1貝葉斯決策論貝葉斯判定準(zhǔn)則（Bayesdecisionrule）h*稱為貝葉斯最優(yōu)分類器(Bayesoptimalclassifier)，其總體風(fēng)險(xiǎn)稱為貝葉斯風(fēng)險(xiǎn)(Bayesrisk)?反映了學(xué)習(xí)性能的理論上限為最小化總體風(fēng)險(xiǎn)，只需
3、在每個(gè)樣本上選擇那個(gè)能使條件風(fēng)險(xiǎn)最小的類別標(biāo)記。判別式vs.生成式貝葉斯定理*貝葉斯準(zhǔn)則7.1貝葉斯決策論判別式vs.生成式在現(xiàn)實(shí)中通常難以直接獲得從這個(gè)角度來(lái)看，機(jī)器學(xué)習(xí)所要實(shí)現(xiàn)的是基于有限的訓(xùn)練樣本盡可能準(zhǔn)確地估計(jì)出后驗(yàn)概率兩種基本策略：判別式(discriminative)模型思路：直接對(duì)建模代表：生成式(generative)模型?決策樹(shù)?BP神經(jīng)網(wǎng)絡(luò)SVM代表：貝葉斯分類器思路：先對(duì)聯(lián)合概率分布建模，再由此獲得判別式vs.生成式貝葉斯定理*貝葉斯準(zhǔn)則7.1貝葉斯決策論貝葉斯定理ThomasBayes(1701
4、?-1761)根據(jù)貝葉斯定理，有證據(jù)(evidence)因子，與類別無(wú)關(guān)主要困難在于估計(jì)似然樣本相對(duì)于類標(biāo)記的類條件概率(class-conditionalprobability),亦稱似然(likelihood)類先驗(yàn)概率（prior）樣本空間中各類樣本所占的比例，可通過(guò)各類樣本出現(xiàn)的頻率估計(jì)（大數(shù)定律）圖形繪制圖片處理圖表設(shè)計(jì)典型案例*貝葉斯決策論1346Chapter7*25極大似然估計(jì)樸素貝葉斯分類器半樸素貝葉斯分類器貝葉斯網(wǎng)EM算法機(jī)器學(xué)習(xí)先假設(shè)類條件概率某種概率分布形式，再基于訓(xùn)練樣樣本對(duì)參數(shù)進(jìn)行估計(jì)*7.
5、2極大似然估計(jì)極大似然估計(jì)（MaximumLikelihoodEstimation,MLE）使用對(duì)數(shù)似然(log-likelihood)于是,的極大似然估計(jì)為估計(jì)結(jié)果的準(zhǔn)確性嚴(yán)重依賴于所假設(shè)的概率分布形式是否符合潛在的真實(shí)分布假定具有確定的概率分布形式，且被參數(shù)向量唯一確定，則任務(wù)就是利用訓(xùn)練集D來(lái)估計(jì)參數(shù)對(duì)于訓(xùn)練集D中第c類樣本組成的集合Dc的似然(likelihood)為例如：假設(shè)概率密度函數(shù)，則和的極大似然估計(jì)為：*7.2極大似然估計(jì)分別對(duì)進(jìn)行求導(dǎo)，在對(duì)應(yīng)的一階導(dǎo)函數(shù)的零點(diǎn)處即可取得對(duì)應(yīng)的的極大似然估計(jì)。極大似然
6、估計(jì)（MaximumLikelihoodEstimation,MLE）圖形繪制圖片處理圖表設(shè)計(jì)典型案例*貝葉斯決策論1346Chapter7*25極大似然估計(jì)樸素貝葉斯分類器半樸素貝葉斯分類器貝葉斯網(wǎng)EM算法機(jī)器學(xué)習(xí)拉普拉斯修正*樸素貝葉斯分類器7.3樸素貝葉斯分類器樸素貝葉斯分類器（na?veBayesclassifiers）基本思路：假定屬性相互獨(dú)立d為屬性數(shù)，xi為x在第i個(gè)屬性上的取值對(duì)所有類別相同，于是分類器使用對(duì)離散屬性，令表示Dc中在第i個(gè)屬性上取值為xi的樣本組成的集合，則拉普拉斯修正*樸素貝葉斯分類器
7、7.3樸素貝葉斯分類器分類器使用?估計(jì)P(c):?估計(jì)P(x
8、c):?對(duì)連續(xù)屬性，考慮概率密度函數(shù)，假定樸素貝葉斯分類器（na?veBayesclassifiers）拉普拉斯修正*樸素貝葉斯分類器7.3樸素貝葉斯分類器分類器使用例如：樸素貝葉斯分類器（na?veBayesclassifiers）首先估計(jì)類先驗(yàn)概率P(c):拉普拉斯修正*樸素貝葉斯分類器7.3樸素貝葉斯分類器分類器使用例如：樸素貝葉斯分類器（na?veBayesclassifiers）拉普拉斯修正*樸素貝葉斯分類器7.3樸素貝葉斯分類器分類器使用例如：分
9、別計(jì)算樸素貝葉斯分類器（na?veBayesclassifiers）拉普拉斯修正*樸素貝葉斯分類器7.3樸素貝葉斯分類器分類器使用例如：分別計(jì)算樸素貝葉斯分類器（na?veBayesclassifiers）拉普拉斯修正*樸素貝葉斯分類器7.3樸素貝葉斯分類器分類器使用拉普拉斯修正（Laplaciancorrection）若某個(gè)屬性
