貝葉斯估計(jì)

《貝葉斯估計(jì)》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。

1、信號(hào)的參數(shù)估計(jì)一般指參數(shù)在觀測(cè)時(shí)間內(nèi)不隨時(shí)間變化，故是靜態(tài)估計(jì)。若被估計(jì)參量是隨機(jī)過(guò)程或非隨機(jī)的未知過(guò)稱，則稱為波形估計(jì)或狀態(tài)估計(jì)，波形估計(jì)或狀態(tài)估計(jì)是動(dòng)態(tài)估計(jì)。3.2貝葉斯估計(jì)貝葉斯估計(jì)是基于后驗(yàn)概率分布（posteriordistribution）的一類估計(jì)方法，其中后驗(yàn)概率分布中采用了先驗(yàn)信息（priorinformation）。所謂先驗(yàn)信息，是指已知待估計(jì)參數(shù)的概率密度函數(shù)，不管是隨機(jī)變變量或是未知的固定常數(shù)。而后驗(yàn)概率分布具有下面的形式，。注意兩點(diǎn)：1，不必滿足標(biāo)準(zhǔn)化條件，即，但是必須是非負(fù)的，并且代表似真比（ratioofplausibilit

2、y），若，則說(shuō)明在和兩個(gè)值之間我們更傾向于為真值；2，實(shí)際上就是，是通過(guò)試驗(yàn)得到數(shù)據(jù)X以后的概率密度函數(shù)，僅當(dāng)時(shí)有明確的含義。下面討論中，代表，代表。類似于信號(hào)檢測(cè)中的問(wèn)題，貝葉斯估計(jì)在參數(shù)估計(jì)中對(duì)于不同的估計(jì)結(jié)果賦予了不同的代價(jià)值，然后求解平均代價(jià)最小的情況。估計(jì)誤差為，我們只關(guān)心估計(jì)誤差的代價(jià)，于是代價(jià)函數(shù)，是估計(jì)誤差的單變量函數(shù)。典型的代價(jià)函數(shù)有三種：⑴平方型，它強(qiáng)調(diào)了大誤差的影響⑵絕對(duì)值，給出了代價(jià)隨估計(jì)誤差成比例增長(zhǎng)⑶均勻型這種代價(jià)函數(shù)給出了估計(jì)誤差絕對(duì)值大于某個(gè)值時(shí)，代價(jià)等于常數(shù)，而估計(jì)誤差絕對(duì)值小于某個(gè)值時(shí)，代價(jià)等于零。16在貝葉斯估計(jì)中，要

3、求估計(jì)誤差引起的代價(jià)的平均值最小。由于是估計(jì)誤差的函數(shù)，又是觀測(cè)值的函數(shù)，所以是和的聯(lián)合函數(shù)。所以代價(jià)的平均值為：（3-7）（3-8）為了在準(zhǔn)則下導(dǎo)出估計(jì)量，我們分析和都是非負(fù)的。所以要求最小，也就是要求對(duì)每一個(gè)都最小。我們定義條件代價(jià)（準(zhǔn)則）為：（3-9）因此貝葉斯估計(jì)就變?yōu)橐髼l件代價(jià)最小。以下由代價(jià)函數(shù)推導(dǎo)出相應(yīng)的估計(jì)方法——估計(jì)量。3.2.1最小均方誤差估計(jì)MinimumMeanSquareEstimation（MMSE或簡(jiǎn)記為MS）平方型代價(jià)函數(shù)：則，比較均方誤差要求最小，即最小均方誤差估計(jì)，也就是使，下面推導(dǎo)估計(jì)量的形式。得到：分開(kāi)后得：而上式

4、左面（**）帶回的估計(jì)結(jié)果：16（3-10）可見(jiàn)，這種估計(jì)就是求取信號(hào)在后驗(yàn)概率密度函數(shù)意義下的均值，即條件均值。也就是說(shuō)，最小均方誤差估計(jì)就是條件均值估計(jì)。看（3-10）式估計(jì)的另一種形式：由于已知的是先驗(yàn)概率和條件概率，由此，根據(jù)貝葉斯公式（*）可將（3-10）式化為：（3-11）為什么的說(shuō)明：對(duì)（*）式積分上式左邊代回上式所以最小均方誤差準(zhǔn)則求估計(jì)的兩種算法：1）（條件均值）2）3.2.2最大后驗(yàn)概率估計(jì)MaximumAposterioriProbability均勻型代價(jià)函數(shù)--由定義的條件代價(jià)（準(zhǔn)則）為：將代入式上式得16要求最小，也就是要使最大。

5、假設(shè)足夠小，在區(qū)間內(nèi)被視為常數(shù)。因此要使最大，也就是使時(shí)刻最大。后驗(yàn)概率最大所以這種估計(jì)也被稱為最大后驗(yàn)概率估計(jì)。如果最大值處于的許可范圍內(nèi)，且具有連續(xù)的一階導(dǎo)數(shù)。則獲得最大值的必要條件是：因?yàn)樽匀粚?duì)數(shù)是自變量的單調(diào)函數(shù)，所以有：稱為最大后驗(yàn)方程。為了反映觀測(cè)量和先驗(yàn)知識(shí)對(duì)估計(jì)量的影響，利用關(guān)系式：求對(duì)數(shù)：并對(duì)求導(dǎo)數(shù)，可得到另一種形式的最大后驗(yàn)概率方程，即：（3-12）式（3-12）的解就是所要求的估計(jì)量。式中第一項(xiàng)與估計(jì)參量的先驗(yàn)概率有關(guān)，第二項(xiàng)依賴于觀測(cè)量。所以貝葉斯均勻型代價(jià)函數(shù)的這種估計(jì)等價(jià)成關(guān)于信號(hào)的最大后驗(yàn)估計(jì)。所以最大后驗(yàn)估計(jì)準(zhǔn)則求估計(jì)的兩種

6、算法1）直接求后驗(yàn)的162）由第2式可以看出，引入先驗(yàn)分布后，估計(jì)結(jié)果將偏向使較大的值，而確實(shí)反映了我們?cè)谠囼?yàn)之前對(duì)參數(shù)取值的傾向性。同時(shí)隨著樣本數(shù)的不斷增加，也隨之變大，從而對(duì)估計(jì)量的影響越來(lái)越小，的點(diǎn)除外。無(wú)論是哪種準(zhǔn)則導(dǎo)出的貝葉斯估計(jì)，都需要已知先驗(yàn)分布。以下是的幾種取法：1，本身是具有物理意義的參數(shù)，在取值范圍內(nèi)令，反之為零。2，實(shí)踐當(dāng)中，先驗(yàn)信息形式，若為標(biāo)準(zhǔn)差，則??；若為邊界值，即，則取區(qū)間上的均勻分布。何時(shí)用貝葉斯估計(jì)，或者說(shuō)何時(shí)應(yīng)用先驗(yàn)信息：1，可重復(fù)性試驗(yàn)，如果已經(jīng)有一些試驗(yàn)結(jié)果，則可利用已經(jīng)獲取的數(shù)據(jù)來(lái)構(gòu)造后驗(yàn)概率分布，并以作為下一次試

7、驗(yàn)的先驗(yàn)分布；2，本身確實(shí)為隨機(jī)變量，并且概率分布已知；3，本身為物理量，有一定的取值范圍，并且希望估計(jì)結(jié)果不會(huì)超出這一范圍。4，普通方法不能同時(shí)估計(jì)幾個(gè)耦合在一起的參數(shù)，但是如果已知這些參數(shù)的概率分布，則采用貝葉斯方法能夠同時(shí)估計(jì)這些參數(shù)。為了比較不同準(zhǔn)則下的貝葉斯估計(jì)量，特舉以下例子。例3-3：觀察樣本為其中是零均值的高斯白噪聲，具有單位方差。已知信號(hào)的概率密度函數(shù)為⑴求最小均方誤差估計(jì)解：由于參數(shù)的最小均方誤差估計(jì)就是平方型代價(jià)函數(shù)最小的貝葉斯估計(jì)，它等于已知樣本情況下的條件均值，即條件均值估計(jì)。故有16（*）由于服從高斯分布，故服從高斯分布。由高斯

8、白噪聲的不相關(guān)性和獨(dú)立性的等價(jià)關(guān)系知，觀測(cè)樣本相互獨(dú)立，故觀測(cè)樣本