概率密度函數(shù)的估計(jì)

《概率密度函數(shù)的估計(jì)》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、張學(xué)工《模式識(shí)別》教學(xué)課件第三章　概率密度函數(shù)的估計(jì)32XuegongZhang,TsinghuaUniversity張學(xué)工《模式識(shí)別》教學(xué)課件3.1　引言貝葉斯決策：已知和，對(duì)未知樣本分類（設(shè)計(jì)分類器）實(shí)際問題：已知一定數(shù)目的樣本，對(duì)未知樣本分類（設(shè)計(jì)分類器）怎么辦？一種很自然的想法：n首先根據(jù)樣本估計(jì)和，記和n然后用估計(jì)的概率密度設(shè)計(jì)貝葉斯分類器?！ɑ跇颖镜模﹥刹截惾~斯決策32XuegongZhang,TsinghuaUniversity張學(xué)工《模式識(shí)別》教學(xué)課件希望：當(dāng)樣本數(shù)時(shí)，如此得到的分類器收斂于理論上的最優(yōu)解。為此，需重要前提：l訓(xùn)練樣本的分布能代表樣本的真實(shí)分布，所謂

2、i.i.d條件l有充分的訓(xùn)練樣本本章討論內(nèi)容：如何利用樣本集估計(jì)概率密度函數(shù)？估計(jì)概率密度的兩種基本方法：l參數(shù)方法(parametricmethods)l非參數(shù)方法(nonparametricmethods)32XuegongZhang,TsinghuaUniversity張學(xué)工《模式識(shí)別》教學(xué)課件基本概念參數(shù)估計(jì)(parametricestimation)：l已知概率密度函數(shù)的形式，只是其中幾個(gè)參數(shù)未知，目標(biāo)是根據(jù)樣本估計(jì)這些參數(shù)的值。幾個(gè)名詞：統(tǒng)計(jì)量(statistics)：樣本的某種函數(shù)，用來作為對(duì)某參數(shù)的估計(jì)參數(shù)空間(parametricspace)：待估計(jì)參數(shù)的取值空間估計(jì)量

3、(estimation)：32XuegongZhang,TsinghuaUniversity張學(xué)工《模式識(shí)別》教學(xué)課件3.2　最大似然估計(jì)(MaximumLikelihoodEstimation)假設(shè)條件：①參數(shù)是確定的未知量，（不是隨機(jī)量）②各類樣本集，中的樣本都是從密度為的總體中獨(dú)立抽取出來的，（獨(dú)立同分布，i.i.d.）③具有某種確定的函數(shù)形式，只其參數(shù)未知④各類樣本只包含本類分布的信息其中，參數(shù)通常是向量，比如一維正態(tài)分布，未知參數(shù)可能是，此時(shí)可寫成或。32XuegongZhang,TsinghuaUniversity張學(xué)工《模式識(shí)別》教學(xué)課件鑒于上述假設(shè)，我們可以只考慮一類樣本

4、，記已知樣本為似然函數(shù)（likelihoodfunction）——在參數(shù)下觀測到樣本集的概率（聯(lián)合分布）密度基本思想：如果在參數(shù)下最大，則應(yīng)是“最可能”的參數(shù)值，它是樣本集的函數(shù)，記作。稱作最大似然估計(jì)量。為了便于分析，還可以定義對(duì)數(shù)似然函數(shù)。32XuegongZhang,TsinghuaUniversity張學(xué)工《模式識(shí)別》教學(xué)課件求解：若似然函數(shù)滿足連續(xù)、可微的條件，則最大似然估計(jì)量就是方程或的解（必要條件）。若未知參數(shù)不止一個(gè)，即，記梯度算子則最大似然估計(jì)量的必要條件由S個(gè)方程組成：32XuegongZhang,TsinghuaUniversity張學(xué)工《模式識(shí)別》教學(xué)課件討論：?

5、如果或連續(xù)、可微，存在最大值，且上述必要條件方程組有唯一解，則其解就是最大似然估計(jì)量。（比如多元正態(tài)分布）。?如果必要條件有多解，則需從中求似然函數(shù)最大者?若不滿足條件，則無一般性方法，用其它方法求最大（見課本均勻分布例）32XuegongZhang,TsinghuaUniversity張學(xué)工《模式識(shí)別》教學(xué)課件l正態(tài)分布下的最大似然估計(jì)示例以單變量正態(tài)分布為例，，樣本集似然函數(shù)32XuegongZhang,TsinghuaUniversity張學(xué)工《模式識(shí)別》教學(xué)課件對(duì)數(shù)似然函數(shù)最大似然估計(jì)量滿足方程而32XuegongZhang,TsinghuaUniversity張學(xué)工《模式識(shí)別》

6、教學(xué)課件得方程組解得32XuegongZhang,TsinghuaUniversity張學(xué)工《模式識(shí)別》教學(xué)課件3.3　貝葉斯估計(jì)和貝葉斯學(xué)習(xí)（BayesianEstimationandBayesianLearning）貝葉斯估計(jì)思路與貝葉斯決策類似，只是離散的決策狀態(tài)變成了連續(xù)的估計(jì)?；舅枷耄喊汛烙?jì)參數(shù)看作具有先驗(yàn)分布的隨機(jī)變量，其取值與樣本集有關(guān)，根據(jù)樣本集估計(jì)。損失函數(shù)：把估計(jì)為所造成的損失，記為32XuegongZhang,TsinghuaUniversity張學(xué)工《模式識(shí)別》教學(xué)課件期望風(fēng)險(xiǎn)：其中,，條件風(fēng)險(xiǎn)：最小化期望風(fēng)險(xiǎn)T最小化條件風(fēng)險(xiǎn)（對(duì)所有可能的）有限樣本集下，最小

7、化經(jīng)驗(yàn)風(fēng)險(xiǎn)：32XuegongZhang,TsinghuaUniversity張學(xué)工《模式識(shí)別》教學(xué)課件貝葉斯估計(jì)量：（在樣本集下）使條件風(fēng)險(xiǎn)（經(jīng)驗(yàn)風(fēng)險(xiǎn)）最小的估計(jì)量。損失：離散情況：損失函數(shù)表（決策表）；連續(xù)情況：損失函數(shù)常用的損失函數(shù)：（平方誤差損失函數(shù)）定理3.1　請(qǐng)自學(xué)證明過程如果采用平方誤差損失函數(shù)，則的貝葉斯估計(jì)量是在給定時(shí)的條件期望，即同理可得到，在給定樣本集下，的貝葉斯估計(jì)是：32XuegongZhang,Tsing