資源描述：
《周志華-機(jī)器學(xué)習(xí)-西瓜書(shū)-全書(shū)16章-ppt-Chap07貝葉斯分類器課件.pptx》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。
1、霍軒第七章：貝葉斯分類器章節(jié)目錄貝葉斯決策論極大似然估計(jì)樸素貝葉斯分類器半樸素貝葉斯分類器貝葉斯網(wǎng)EM算法章節(jié)目錄貝葉斯決策論極大似然估計(jì)樸素貝葉斯分類器半樸素貝葉斯分類器貝葉斯網(wǎng)EM算法貝葉斯決策論貝葉斯決策論（Bayesiandecisiontheory）是在概率框架下實(shí)施決策的基本方法。在分類問(wèn)題情況下，在所有相關(guān)概率都已知的理想情形下，貝葉斯決策考慮如何基于這些概率和誤判損失來(lái)選擇最優(yōu)的類別標(biāo)記。貝葉斯決策論貝葉斯決策論（Bayesiandecisiontheory）是在概率框架下實(shí)施決策的基本方法。在分類
2、問(wèn)題情況下，在所有相關(guān)概率都已知的理想情形下，貝葉斯決策考慮如何基于這些概率和誤判損失來(lái)選擇最優(yōu)的類別標(biāo)記。假設(shè)有種可能的類別標(biāo)記，即，是將一個(gè)真實(shí)標(biāo)記為的樣本誤分類為所產(chǎn)生的損失。基于后驗(yàn)概率可獲得將樣本分類為所產(chǎn)生的期望損失（expectedloss）或者稱條件風(fēng)險(xiǎn)（conditionalrisk）我們的任務(wù)是尋找一個(gè)判定準(zhǔn)則以最小化總體風(fēng)險(xiǎn)貝葉斯決策論顯然，對(duì)每個(gè)樣本，若能最小化條件風(fēng)險(xiǎn)，則總體風(fēng)險(xiǎn)也將被最小化。貝葉斯決策論顯然，對(duì)每個(gè)樣本，若能最小化條件風(fēng)險(xiǎn)，則總體風(fēng)險(xiǎn)也將被最小化。這就產(chǎn)生了貝葉斯判定準(zhǔn)則
3、（Bayesdecisionrule）：為最小化總體風(fēng)險(xiǎn)，只需在每個(gè)樣本上選擇那個(gè)能使條件風(fēng)險(xiǎn)最小的類別標(biāo)記，即此時(shí)，被稱為貝葉斯最優(yōu)分類器(Bayesoptimalclassifier)，與之對(duì)應(yīng)的總體風(fēng)險(xiǎn)稱為貝葉斯風(fēng)險(xiǎn)(Bayesrisk)反映了分類起所能達(dá)到的最好性能，即通過(guò)機(jī)器學(xué)習(xí)所能產(chǎn)生的模型精度的理論上限。貝葉斯決策論具體來(lái)說(shuō)，若目標(biāo)是最小化分類錯(cuò)誤率，則誤判損失可寫(xiě)為貝葉斯決策論具體來(lái)說(shuō)，若目標(biāo)是最小化分類錯(cuò)誤率，則誤判損失可寫(xiě)為此時(shí)條件風(fēng)險(xiǎn)貝葉斯決策論具體來(lái)說(shuō)，若目標(biāo)是最小化分類錯(cuò)誤率，則誤判損失可
4、寫(xiě)為此時(shí)條件風(fēng)險(xiǎn)于是，最小化分類錯(cuò)誤率的貝葉斯最優(yōu)分類器為即對(duì)每個(gè)樣本，選擇能使后驗(yàn)概率最大的類別標(biāo)記。貝葉斯決策論不難看出，使用貝葉斯判定準(zhǔn)則來(lái)最小化決策風(fēng)險(xiǎn)，首先要獲得后驗(yàn)概率。然而，在現(xiàn)實(shí)中通常難以直接獲得。機(jī)器學(xué)習(xí)所要實(shí)現(xiàn)的是基于有限的訓(xùn)練樣本盡可能準(zhǔn)確地估計(jì)出后驗(yàn)概率。主要有兩種策略：判別式模型（discriminativemodels）給定，通過(guò)直接建模,來(lái)預(yù)測(cè)決策樹(shù)，BP神經(jīng)網(wǎng)絡(luò)，支持向量機(jī)生成式模型（generativemodels）先對(duì)聯(lián)合概率分布建模，再由此獲得生成式模型考慮貝葉斯決策論生成式模
5、型貝葉斯決策論生成式模型基于貝葉斯定理，可寫(xiě)成貝葉斯決策論生成式模型基于貝葉斯定理，可寫(xiě)成先驗(yàn)概率樣本空間中各類樣本所占的比例，可通過(guò)各類樣本出現(xiàn)的頻率估計(jì)（大數(shù)定理）貝葉斯決策論生成式模型基于貝葉斯定理，可寫(xiě)成先驗(yàn)概率樣本空間中各類樣本所占的比例，可通過(guò)各類樣本出現(xiàn)的頻率估計(jì)（大數(shù)定理）“證據(jù)”（evidence）因子，與類標(biāo)記無(wú)關(guān)貝葉斯決策論生成式模型基于貝葉斯定理，可寫(xiě)成先驗(yàn)概率樣本空間中各類樣本所占的比例，可通過(guò)各類樣本出現(xiàn)的頻率估計(jì)（大數(shù)定理）“證據(jù)”（evidence）因子，與類標(biāo)記無(wú)關(guān)類標(biāo)記相對(duì)于樣本
6、的“類條件概率”(class-conditionalprobability),或稱“似然”。章節(jié)目錄貝葉斯決策論極大似然估計(jì)樸素貝葉斯分類器半樸素貝葉斯分類器貝葉斯網(wǎng)EM算法極大似然估計(jì)估計(jì)類條件概率的常用策略：先假定其具有某種確定的概率分布形式，再基于訓(xùn)練樣本對(duì)概率分布參數(shù)估計(jì)。記關(guān)于類別的類條件概率為，假設(shè)具有確定的形式被參數(shù)唯一確定，我們的任務(wù)就是利用訓(xùn)練集估計(jì)參數(shù)極大似然估計(jì)估計(jì)類條件概率的常用策略：先假定其具有某種確定的概率分布形式，再基于訓(xùn)練樣本對(duì)概率分布參數(shù)估計(jì)。記關(guān)于類別的類條件概率為，假設(shè)具有確定
7、的形式被參數(shù)唯一確定，我們的任務(wù)就是利用訓(xùn)練集估計(jì)參數(shù)概率模型的訓(xùn)練過(guò)程就是參數(shù)估計(jì)過(guò)程，統(tǒng)計(jì)學(xué)界的兩個(gè)學(xué)派提供了不同的方案：頻率學(xué)派(frequentist)認(rèn)為參數(shù)雖然未知，但卻存在客觀值，因此可通過(guò)優(yōu)化似然函數(shù)等準(zhǔn)則來(lái)確定參數(shù)值貝葉斯學(xué)派(Bayesian)認(rèn)為參數(shù)是未觀察到的隨機(jī)變量、其本身也可由分布，因此可假定參數(shù)服從一個(gè)先驗(yàn)分布，然后基于觀測(cè)到的數(shù)據(jù)計(jì)算參數(shù)的后驗(yàn)分布。極大似然估計(jì)令表示訓(xùn)練集中第類樣本的組合的集合，假設(shè)這些樣本是獨(dú)立的，則參數(shù)對(duì)于數(shù)據(jù)集的似然是對(duì)進(jìn)行極大似然估計(jì)，尋找能最大化似然的參數(shù)
8、值。直觀上看，極大似然估計(jì)是試圖在所有可能的取值中，找到一個(gè)使數(shù)據(jù)出現(xiàn)的“可能性”最大值。極大似然估計(jì)令表示訓(xùn)練集中第類樣本的組合的集合，假設(shè)這些樣本是獨(dú)立的，則參數(shù)對(duì)于數(shù)據(jù)集的似然是對(duì)進(jìn)行極大似然估計(jì)，尋找能最大化似然的參數(shù)值。直觀上看，極大似然估計(jì)是試圖在所有可能的取值中，找到一個(gè)使數(shù)據(jù)出現(xiàn)的“可能性”最大值。式(7.9)的連乘操作易造成下溢，通常使用對(duì)
