資源描述:
《參數(shù)估計(jì)與非參數(shù)估計(jì).pdf》由會(huì)員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。
1、第三章參數(shù)估計(jì)與非參數(shù)估計(jì)?參數(shù)估計(jì)與監(jiān)督學(xué)習(xí)?參數(shù)估計(jì)理論?非參數(shù)估計(jì)理論1分類器功能結(jié)構(gòu)基于樣本的Bayes分類器:通過(guò)估計(jì)類條件:通過(guò)估計(jì)類條件概率密度函數(shù),概率密度函數(shù),設(shè)計(jì)相應(yīng)的判別函數(shù)設(shè)計(jì)相應(yīng)的判別函數(shù)基于樣本直接確定判別函數(shù)方法2基于樣本的基于樣本的BayesBayes分類器分類器設(shè)計(jì)設(shè)計(jì)pP(x
2、ω)()ω?Bayes決策需要已知兩種知識(shí):P(
3、)iiωx=i∑pP(x
4、ωj)()ωj–各類的先驗(yàn)概率P(ωi)j–各類的條件概率密度函數(shù)p(x
5、ω)i?知識(shí)的來(lái)源:對(duì)問(wèn)題的一般性認(rèn)識(shí)或一些訓(xùn)練數(shù)據(jù)?基于樣本兩步Bayes分類器設(shè)計(jì)?利用
6、樣本集估計(jì)p(ω)和p(x
7、ω)ii?基于上述估計(jì)值設(shè)計(jì)判別函數(shù)及分類器?面臨的問(wèn)題:?如何利用樣本集進(jìn)行估計(jì)?估計(jì)量的評(píng)價(jià)?利用樣本集估計(jì)錯(cuò)誤率3基于樣本的Bayes分類器樣本分布的訓(xùn)練統(tǒng)計(jì)特征:決策規(guī)則:概率判別函數(shù)樣本集決策面方程密度函數(shù)?最一般情況下適用的“最優(yōu)”分類器:錯(cuò)誤率最小,對(duì)分類器設(shè)計(jì)在理論上有指導(dǎo)意義。?獲取統(tǒng)計(jì)分布及其參數(shù)很困難,實(shí)際問(wèn)題中并不一定具備獲取準(zhǔn)確統(tǒng)計(jì)分布的條件。4直接確定判別函數(shù)?基于樣本直接確定判別函數(shù)方法:–針對(duì)各種不同的情況,使用不同的準(zhǔn)則函數(shù),設(shè)計(jì)出滿足這些不同準(zhǔn)則要求的分類器。–這些準(zhǔn)則的“最優(yōu)”并不一定
8、與錯(cuò)誤率最小相一致:次優(yōu)分類器。–實(shí)例:正態(tài)分布最小錯(cuò)誤率貝葉斯分類器在特殊情況下,是線性判別函數(shù)g(x)=wTx(決策面是超平面),能否基于樣本直接確定w?選擇最佳準(zhǔn)則決策規(guī)則:訓(xùn)練樣本集判別函數(shù)決策面方程5§3-1參數(shù)估計(jì)與監(jiān)督學(xué)習(xí)一.參數(shù)估計(jì)與非參數(shù)估計(jì)參數(shù)估計(jì):先假定研究問(wèn)題具有某種數(shù)學(xué)模型,如正態(tài)分布,二項(xiàng)分布,再用已知類別的學(xué)習(xí)樣本估計(jì)里面的參數(shù)。非參數(shù)估計(jì):不假定數(shù)學(xué)模型,直接用已知類別的學(xué)習(xí)樣本先驗(yàn)知識(shí)估計(jì)數(shù)學(xué)模型。6§3-1參數(shù)估計(jì)與監(jiān)督學(xué)習(xí)(續(xù)1)二.監(jiān)督學(xué)習(xí)與無(wú)監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí):在已知類別樣本指導(dǎo)下進(jìn)行學(xué)習(xí)和訓(xùn)練,可以統(tǒng)計(jì)出各類
9、訓(xùn)練樣本不同的描述量,如其概率分布,或在特征空間分布的區(qū)域等,利用這些參數(shù)進(jìn)行分類器設(shè)計(jì),稱為有監(jiān)督學(xué)習(xí)。參數(shù)估計(jì)和非參數(shù)估計(jì)都屬于監(jiān)督學(xué)習(xí)。無(wú)監(jiān)督學(xué)習(xí):不知道樣本類別(也就是說(shuō)沒(méi)有訓(xùn)練樣本),只知道樣本的某些信息,然后利用這些信息進(jìn)行估計(jì),如:聚類分析。7§3-1參數(shù)估計(jì)與監(jiān)督學(xué)習(xí)(續(xù)2)ò下圖表示對(duì)一幅道路圖像按路面與非路面分類可用兩種不同做法,其中左圖是在圖像中路面區(qū)與非路面中各找一個(gè)窗口,將其中每個(gè)象素分別作為這兩類的訓(xùn)練樣本集,用這兩個(gè)樣本集在特征空間的分布參數(shù)進(jìn)行設(shè)計(jì)。ò而無(wú)監(jiān)督學(xué)習(xí)方法則不同,它不預(yù)先選擇樣本類別的樣本集,而是將整幅圖的
10、像素都作為待分類樣本集,通過(guò)它們?cè)谔卣骺臻g中表現(xiàn)出來(lái)的聚類現(xiàn)象,把不同類別劃分開(kāi)。ò圖中有監(jiān)督學(xué)習(xí),樣本集分布呈現(xiàn)交迭情況,而無(wú)監(jiān)督學(xué)習(xí)方法由于沒(méi)有類別樣本指導(dǎo),無(wú)法確定它們的交迭情況,只能按分布的聚類情況進(jìn)行劃分。8§3-1參數(shù)估計(jì)與監(jiān)督學(xué)習(xí)(續(xù)3)ò非監(jiān)督學(xué)習(xí)與有監(jiān)督學(xué)習(xí)方法的區(qū)別:1.有監(jiān)督學(xué)習(xí)方法必須要有訓(xùn)練集與測(cè)試樣本。在訓(xùn)練集中找規(guī)律,而對(duì)測(cè)試樣本使用這種規(guī)律;而非監(jiān)督學(xué)習(xí)沒(méi)有訓(xùn)練集這一說(shuō),只有一組數(shù)據(jù),在該組數(shù)據(jù)集內(nèi)尋找規(guī)律。2.有監(jiān)督學(xué)習(xí)方法的目的就是識(shí)別事物,識(shí)別的結(jié)果表現(xiàn)在給待識(shí)別數(shù)據(jù)加上了標(biāo)號(hào)。因此訓(xùn)練樣本集必須由帶標(biāo)號(hào)的樣本組
11、成。而非監(jiān)督學(xué)習(xí)方法只有要分析的數(shù)據(jù)集本身,預(yù)先沒(méi)有什么標(biāo)號(hào)。如果發(fā)現(xiàn)數(shù)據(jù)集呈現(xiàn)某種聚集性,則可按自然的聚集性分類,但不以與某種預(yù)先的分類標(biāo)號(hào)對(duì)上號(hào)為目的。例如上圖的道路圖像,有監(jiān)督學(xué)習(xí)方法的目的是找到“道路”,而非監(jiān)督學(xué)習(xí)方法則只是將中間一條帶狀區(qū)域區(qū)分開(kāi)來(lái),本質(zhì)上講與“道路”這個(gè)標(biāo)號(hào)沒(méi)有關(guān)系。9§3-1參數(shù)估計(jì)與監(jiān)督學(xué)習(xí)(續(xù)4)3.非監(jiān)督學(xué)習(xí)方法尋找數(shù)據(jù)集中的規(guī)律性,這種規(guī)律性并不一定要達(dá)到劃分?jǐn)?shù)據(jù)集的目的,也就是說(shuō)不一定要“分類”。這一點(diǎn)比有監(jiān)督學(xué)習(xí)方法的用途要廣泛。譬如分析一堆數(shù)據(jù)的主分量,或分析數(shù)據(jù)集有什么特點(diǎn)都可以歸于非監(jiān)督學(xué)習(xí)方法的范疇
12、。4.用非監(jiān)督學(xué)習(xí)方法分析數(shù)據(jù)集的主分量,與用K-L變換計(jì)算數(shù)據(jù)集的主分量又有區(qū)別。應(yīng)該說(shuō)后者從方法上講不是一種學(xué)習(xí)方法。因此用K-L變換找主分量不屬于非監(jiān)督學(xué)習(xí)方法。通過(guò)學(xué)習(xí)逐漸找到規(guī)律性是學(xué)習(xí)方法的特點(diǎn)。在人工神經(jīng)元網(wǎng)絡(luò)中尋找主分量的方法屬于非監(jiān)督學(xué)習(xí)方法。10貝葉斯分類器中只要知道先驗(yàn)概率P(ω),類條i件概率P(x/ω)或后驗(yàn)概率P(ω/x)就可以設(shè)計(jì)分類ii器了?,F(xiàn)在研究,如何用已知訓(xùn)練樣本信息估計(jì)P(ω),P(x/ω),P(ω/x)iii概率密度估計(jì)方法?先驗(yàn)概率P(ω)的估計(jì):i–用訓(xùn)練數(shù)據(jù)中各類出現(xiàn)的頻率來(lái)估計(jì)–依靠經(jīng)驗(yàn)11?類條件概
13、率密度函數(shù)估計(jì):兩大類方法–參數(shù)估計(jì):概率密度函數(shù)形式已知,而表征函數(shù)參數(shù)未知,需通過(guò)訓(xùn)練數(shù)據(jù)來(lái)估計(jì)?最大似