貝葉斯估計

《貝葉斯估計》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。

1、信號的參數(shù)估計一般指參數(shù)在觀測時間內(nèi)不隨時間變化，故是靜態(tài)估計。若被估計參量是隨機過程或非隨機的未知過稱，則稱為波形估計或狀態(tài)估計，波形估計或狀態(tài)估計是動態(tài)估計。3.2貝葉斯估計貝葉斯估計是基于后驗概率分布（posteriordistribution）的一類估計方法，其中后驗概率分布中采用了先驗信息（priorinformation）。所謂先驗信息，是指已知待估計參數(shù)的概率密度函數(shù)，不管是隨機變變量或是未知的固定常數(shù)。而后驗概率分布具有下面的形式，。注意兩點：1，不必滿足標(biāo)準(zhǔn)化條件，即，但是必須是非負(fù)的，并且代表似真比（ratioofplausibilit

2、y），若，則說明在和兩個值之間我們更傾向于為真值；2，實際上就是，是通過試驗得到數(shù)據(jù)X以后的概率密度函數(shù)，僅當(dāng)時有明確的含義。下面討論中，代表，代表。類似于信號檢測中的問題，貝葉斯估計在參數(shù)估計中對于不同的估計結(jié)果賦予了不同的代價值，然后求解平均代價最小的情況。估計誤差為，我們只關(guān)心估計誤差的代價，于是代價函數(shù)，是估計誤差的單變量函數(shù)。典型的代價函數(shù)有三種：⑴平方型，它強調(diào)了大誤差的影響⑵絕對值，給出了代價隨估計誤差成比例增長⑶均勻型這種代價函數(shù)給出了估計誤差絕對值大于某個值時，代價等于常數(shù)，而估計誤差絕對值小于某個值時，代價等于零。16在貝葉斯估計中，要

3、求估計誤差引起的代價的平均值最小。由于是估計誤差的函數(shù)，又是觀測值的函數(shù)，所以是和的聯(lián)合函數(shù)。所以代價的平均值為：（3-7）（3-8）為了在準(zhǔn)則下導(dǎo)出估計量，我們分析和都是非負(fù)的。所以要求最小，也就是要求對每一個都最小。我們定義條件代價（準(zhǔn)則）為：（3-9）因此貝葉斯估計就變?yōu)橐髼l件代價最小。以下由代價函數(shù)推導(dǎo)出相應(yīng)的估計方法——估計量。3.2.1最小均方誤差估計MinimumMeanSquareEstimation（MMSE或簡記為MS）平方型代價函數(shù)：則，比較均方誤差要求最小，即最小均方誤差估計，也就是使，下面推導(dǎo)估計量的形式。得到：分開后得：而上式

4、左面（**）帶回的估計結(jié)果：16（3-10）可見，這種估計就是求取信號在后驗概率密度函數(shù)意義下的均值，即條件均值。也就是說，最小均方誤差估計就是條件均值估計。看（3-10）式估計的另一種形式：由于已知的是先驗概率和條件概率，由此，根據(jù)貝葉斯公式（*）可將（3-10）式化為：（3-11）為什么的說明：對（*）式積分上式左邊代回上式所以最小均方誤差準(zhǔn)則求估計的兩種算法：1）（條件均值）2）3.2.2最大后驗概率估計MaximumAposterioriProbability均勻型代價函數(shù)--由定義的條件代價（準(zhǔn)則）為：將代入式上式得16要求最小，也就是要使最大。

5、假設(shè)足夠小，在區(qū)間內(nèi)被視為常數(shù)。因此要使最大，也就是使時刻最大。后驗概率最大所以這種估計也被稱為最大后驗概率估計。如果最大值處于的許可范圍內(nèi)，且具有連續(xù)的一階導(dǎo)數(shù)。則獲得最大值的必要條件是：因為自然對數(shù)是自變量的單調(diào)函數(shù)，所以有：稱為最大后驗方程。為了反映觀測量和先驗知識對估計量的影響，利用關(guān)系式：求對數(shù)：并對求導(dǎo)數(shù)，可得到另一種形式的最大后驗概率方程，即：（3-12）式（3-12）的解就是所要求的估計量。式中第一項與估計參量的先驗概率有關(guān)，第二項依賴于觀測量。所以貝葉斯均勻型代價函數(shù)的這種估計等價成關(guān)于信號的最大后驗估計。所以最大后驗估計準(zhǔn)則求估計的兩種

6、算法1）直接求后驗的162）由第2式可以看出，引入先驗分布后，估計結(jié)果將偏向使較大的值，而確實反映了我們在試驗之前對參數(shù)取值的傾向性。同時隨著樣本數(shù)的不斷增加，也隨之變大，從而對估計量的影響越來越小，的點除外。無論是哪種準(zhǔn)則導(dǎo)出的貝葉斯估計，都需要已知先驗分布。以下是的幾種取法：1，本身是具有物理意義的參數(shù)，在取值范圍內(nèi)令，反之為零。2，實踐當(dāng)中，先驗信息形式，若為標(biāo)準(zhǔn)差，則取；若為邊界值，即，則取區(qū)間上的均勻分布。何時用貝葉斯估計，或者說何時應(yīng)用先驗信息：1，可重復(fù)性試驗，如果已經(jīng)有一些試驗結(jié)果，則可利用已經(jīng)獲取的數(shù)據(jù)來構(gòu)造后驗概率分布，并以作為下一次試

7、驗的先驗分布；2，本身確實為隨機變量，并且概率分布已知；3，本身為物理量，有一定的取值范圍，并且希望估計結(jié)果不會超出這一范圍。4，普通方法不能同時估計幾個耦合在一起的參數(shù)，但是如果已知這些參數(shù)的概率分布，則采用貝葉斯方法能夠同時估計這些參數(shù)。為了比較不同準(zhǔn)則下的貝葉斯估計量，特舉以下例子。例3-3：觀察樣本為其中是零均值的高斯白噪聲，具有單位方差。已知信號的概率密度函數(shù)為⑴求最小均方誤差估計解：由于參數(shù)的最小均方誤差估計就是平方型代價函數(shù)最小的貝葉斯估計，它等于已知樣本情況下的條件均值，即條件均值估計。故有16（*）由于服從高斯分布，故服從高斯分布。由高斯

8、白噪聲的不相關(guān)性和獨立性的等價關(guān)系知，觀測樣本相互獨立，故觀測樣本