資源描述：
《貝葉斯網(wǎng)貝葉斯分類器.ppt》由會員上傳分享，免費在線閱讀，更多相關內容在行業(yè)資料-天天文庫。
1、北京第七章貝葉斯分類器機器學習2018.09.02圖形繪制圖片處理圖表設計典型案例*貝葉斯決策論1346Contents目錄*25極大似然估計樸素貝葉斯分類器半樸素貝葉斯分類器貝葉斯網(wǎng)EM算法機器學習貝葉斯分類器圖形繪制圖片處理圖表設計典型案例*貝葉斯決策論1346Chapter7*25極大似然估計樸素貝葉斯分類器半樸素貝葉斯分類器貝葉斯網(wǎng)EM算法機器學習貝葉斯分類器圖形繪制判別式vs.生成式貝葉斯定理*貝葉斯準則7.1貝葉斯決策論貝葉斯決策論（Bayesiandecisiontheory）概率框架下實施決策的基本理論
2、。對于分類任務：基于已知相關概率和誤判損失選擇最優(yōu)類別標記后驗概率尋找一個判定準則h以最小化總體風險：給定N個類別標記，令λij代表將第j類樣本誤分類為第i類所產(chǎn)生的損失，則基于后驗概率，可知，將樣本x分到第i類的條件風險（risk）為：圖形繪制判別式vs.生成式貝葉斯定理*貝葉斯準則7.1貝葉斯決策論貝葉斯判定準則（Bayesdecisionrule）h*稱為貝葉斯最優(yōu)分類器(Bayesoptimalclassifier)，其總體風險稱為貝葉斯風險(Bayesrisk)?反映了學習性能的理論上限為最小化總體風險，只需
3、在每個樣本上選擇那個能使條件風險最小的類別標記。判別式vs.生成式貝葉斯定理*貝葉斯準則7.1貝葉斯決策論判別式vs.生成式在現(xiàn)實中通常難以直接獲得從這個角度來看，機器學習所要實現(xiàn)的是基于有限的訓練樣本盡可能準確地估計出后驗概率兩種基本策略：判別式(discriminative)模型思路：直接對建模代表：生成式(generative)模型?決策樹?BP神經(jīng)網(wǎng)絡SVM代表：貝葉斯分類器思路：先對聯(lián)合概率分布建模，再由此獲得判別式vs.生成式貝葉斯定理*貝葉斯準則7.1貝葉斯決策論貝葉斯定理ThomasBayes(1701
4、?-1761)根據(jù)貝葉斯定理，有證據(jù)(evidence)因子，與類別無關主要困難在于估計似然樣本相對于類標記的類條件概率(class-conditionalprobability),亦稱似然(likelihood)類先驗概率（prior）樣本空間中各類樣本所占的比例，可通過各類樣本出現(xiàn)的頻率估計（大數(shù)定律）圖形繪制圖片處理圖表設計典型案例*貝葉斯決策論1346Chapter7*25極大似然估計樸素貝葉斯分類器半樸素貝葉斯分類器貝葉斯網(wǎng)EM算法機器學習先假設類條件概率某種概率分布形式，再基于訓練樣樣本對參數(shù)進行估計*7.
5、2極大似然估計極大似然估計（MaximumLikelihoodEstimation,MLE）使用對數(shù)似然(log-likelihood)于是,的極大似然估計為估計結果的準確性嚴重依賴于所假設的概率分布形式是否符合潛在的真實分布假定具有確定的概率分布形式，且被參數(shù)向量唯一確定，則任務就是利用訓練集D來估計參數(shù)對于訓練集D中第c類樣本組成的集合Dc的似然(likelihood)為例如：假設概率密度函數(shù)，則和的極大似然估計為：*7.2極大似然估計分別對進行求導，在對應的一階導函數(shù)的零點處即可取得對應的的極大似然估計。極大似然
6、估計（MaximumLikelihoodEstimation,MLE）圖形繪制圖片處理圖表設計典型案例*貝葉斯決策論1346Chapter7*25極大似然估計樸素貝葉斯分類器半樸素貝葉斯分類器貝葉斯網(wǎng)EM算法機器學習拉普拉斯修正*樸素貝葉斯分類器7.3樸素貝葉斯分類器樸素貝葉斯分類器（na?veBayesclassifiers）基本思路：假定屬性相互獨立d為屬性數(shù)，xi為x在第i個屬性上的取值對所有類別相同，于是分類器使用對離散屬性，令表示Dc中在第i個屬性上取值為xi的樣本組成的集合，則拉普拉斯修正*樸素貝葉斯分類器
7、7.3樸素貝葉斯分類器分類器使用?估計P(c):?估計P(x
8、c):?對連續(xù)屬性，考慮概率密度函數(shù)，假定樸素貝葉斯分類器（na?veBayesclassifiers）拉普拉斯修正*樸素貝葉斯分類器7.3樸素貝葉斯分類器分類器使用例如：樸素貝葉斯分類器（na?veBayesclassifiers）首先估計類先驗概率P(c):拉普拉斯修正*樸素貝葉斯分類器7.3樸素貝葉斯分類器分類器使用例如：樸素貝葉斯分類器（na?veBayesclassifiers）拉普拉斯修正*樸素貝葉斯分類器7.3樸素貝葉斯分類器分類器使用例如：分
9、別計算樸素貝葉斯分類器（na?veBayesclassifiers）拉普拉斯修正*樸素貝葉斯分類器7.3樸素貝葉斯分類器分類器使用例如：分別計算樸素貝葉斯分類器（na?veBayesclassifiers）拉普拉斯修正*樸素貝葉斯分類器7.3樸素貝葉斯分類器分類器使用拉普拉斯修正（Laplaciancorrection）若某個屬性
