概率密度函數的估計

《概率密度函數的估計》由會員上傳分享，免費在線閱讀，更多相關內容在學術論文-天天文庫。

1、張學工《模式識別》教學課件第三章　概率密度函數的估計32XuegongZhang,TsinghuaUniversity張學工《模式識別》教學課件3.1　引言貝葉斯決策：已知和，對未知樣本分類（設計分類器）實際問題：已知一定數目的樣本，對未知樣本分類（設計分類器）怎么辦？一種很自然的想法：n首先根據樣本估計和，記和n然后用估計的概率密度設計貝葉斯分類器?！ɑ跇颖镜模﹥刹截惾~斯決策32XuegongZhang,TsinghuaUniversity張學工《模式識別》教學課件希望：當樣本數時，如此得到的分類器收斂于理論上的最優(yōu)解。為此，需重要前提：l訓練樣本的分布能代表樣本的真實分布，所謂

2、i.i.d條件l有充分的訓練樣本本章討論內容：如何利用樣本集估計概率密度函數？估計概率密度的兩種基本方法：l參數方法(parametricmethods)l非參數方法(nonparametricmethods)32XuegongZhang,TsinghuaUniversity張學工《模式識別》教學課件基本概念參數估計(parametricestimation)：l已知概率密度函數的形式，只是其中幾個參數未知，目標是根據樣本估計這些參數的值。幾個名詞：統(tǒng)計量(statistics)：樣本的某種函數，用來作為對某參數的估計參數空間(parametricspace)：待估計參數的取值空間估計量

3、(estimation)：32XuegongZhang,TsinghuaUniversity張學工《模式識別》教學課件3.2　最大似然估計(MaximumLikelihoodEstimation)假設條件：①參數是確定的未知量，（不是隨機量）②各類樣本集，中的樣本都是從密度為的總體中獨立抽取出來的，（獨立同分布，i.i.d.）③具有某種確定的函數形式，只其參數未知④各類樣本只包含本類分布的信息其中，參數通常是向量，比如一維正態(tài)分布，未知參數可能是，此時可寫成或。32XuegongZhang,TsinghuaUniversity張學工《模式識別》教學課件鑒于上述假設，我們可以只考慮一類樣本

4、，記已知樣本為似然函數（likelihoodfunction）——在參數下觀測到樣本集的概率（聯合分布）密度基本思想：如果在參數下最大，則應是“最可能”的參數值，它是樣本集的函數，記作。稱作最大似然估計量。為了便于分析，還可以定義對數似然函數。32XuegongZhang,TsinghuaUniversity張學工《模式識別》教學課件求解：若似然函數滿足連續(xù)、可微的條件，則最大似然估計量就是方程或的解（必要條件）。若未知參數不止一個，即，記梯度算子則最大似然估計量的必要條件由S個方程組成：32XuegongZhang,TsinghuaUniversity張學工《模式識別》教學課件討論：?

5、如果或連續(xù)、可微，存在最大值，且上述必要條件方程組有唯一解，則其解就是最大似然估計量。（比如多元正態(tài)分布）。?如果必要條件有多解，則需從中求似然函數最大者?若不滿足條件，則無一般性方法，用其它方法求最大（見課本均勻分布例）32XuegongZhang,TsinghuaUniversity張學工《模式識別》教學課件l正態(tài)分布下的最大似然估計示例以單變量正態(tài)分布為例，，樣本集似然函數32XuegongZhang,TsinghuaUniversity張學工《模式識別》教學課件對數似然函數最大似然估計量滿足方程而32XuegongZhang,TsinghuaUniversity張學工《模式識別》

6、教學課件得方程組解得32XuegongZhang,TsinghuaUniversity張學工《模式識別》教學課件3.3　貝葉斯估計和貝葉斯學習（BayesianEstimationandBayesianLearning）貝葉斯估計思路與貝葉斯決策類似，只是離散的決策狀態(tài)變成了連續(xù)的估計?；舅枷耄喊汛烙媴悼醋骶哂邢闰灧植嫉碾S機變量，其取值與樣本集有關，根據樣本集估計。損失函數：把估計為所造成的損失，記為32XuegongZhang,TsinghuaUniversity張學工《模式識別》教學課件期望風險：其中,，條件風險：最小化期望風險T最小化條件風險（對所有可能的）有限樣本集下，最小

7、化經驗風險：32XuegongZhang,TsinghuaUniversity張學工《模式識別》教學課件貝葉斯估計量：（在樣本集下）使條件風險（經驗風險）最小的估計量。損失：離散情況：損失函數表（決策表）；連續(xù)情況：損失函數常用的損失函數：（平方誤差損失函數）定理3.1　請自學證明過程如果采用平方誤差損失函數，則的貝葉斯估計量是在給定時的條件期望，即同理可得到，在給定樣本集下，的貝葉斯估計是：32XuegongZhang,Tsing