資源描述：
《時間序列分析與動態(tài)數(shù)據(jù)建?！酚蓵T上傳分享，免費在線閱讀，更多相關內(nèi)容在教育資源-天天文庫。
1、第五章目錄第五章極大熵譜估計15.1譜熵和極大熵準則11．問題的提出12．高斯過程的熵和熵率13．功率譜和熵率的關系35.2極大熵準則的譜估計65.3極大熵譜估計的伯格算法95.4極大熵譜估計的LS—LUD算法1624第五章極大熵譜估計1967年伯格(J．P．Burg)剛一發(fā)表：極大熵譜分析”的方法就在工程和科技界產(chǎn)生很大影響，成為相當流行的功率譜密度估計方法。伯格在譜估計準則的提出和具體算法上有所創(chuàng)新，由此演變出來的算法有很多種，被統(tǒng)稱為“現(xiàn)代譜分析”。5.1譜熵和極大熵準則1．問題的提出從19世紀未舒斯特(Schuster)在利用
2、富氏級數(shù)分析信號隱含的周期特性時提出了“周期圖”，到1985年由伯來克曼和杜奇提出了譜估計的“間接法”和1965年FFT算法提出后流行的“直接法”，它們本質(zhì)上都是把原序列經(jīng)過開窗截取處理來獲得對序列譜密度的估計。不論對數(shù)據(jù)加窗還是對自相關函數(shù)加窗，其目的都在于使譜估計的方差減小，然而加窗不可避免地產(chǎn)生頻域“泄漏”，使功率譜失真，盡管在窗函數(shù)形式的選擇和處理方法上做了很多分析研究，使得以周期圖為基礎的方法達到相當成熟和實用的程度，但是任何抑制旁瓣的方法都是以損失譜分辨力為代價的，這個難題在數(shù)據(jù)量少的情況下更為突出。問題的實質(zhì)是：在周期圖
3、估計中，我們對數(shù)據(jù)或是它的相關函數(shù)所做的加窗處理，等于是假定在窗口外數(shù)據(jù)(或自相關)為零，而窗口內(nèi)的部分則加上某種形式的修正。這些人為措施使來自觀察的信息受到了一定程度的歪曲。伯格提出的新概念是；和估計的功率譜相對應的自相關和由觀察數(shù)據(jù)算得的自相關一致，同時對已有的區(qū)段之外的自相關值采用外推的辦法求取，而不是一概假定為零，外推的原則是使相應的序列在未知點上取值的可能性具有最大的不確定性，亦即不對結(jié)果人為地強添任何增加的信息。數(shù)學家申農(nóng)最早提出“熵”的概念，在統(tǒng)計學中用它作為各種隨機試驗的不肯定性程度的度量。在熱力學和信息論中，“熵”都
4、有其具體的物理背景和應用。后面介紹將會看到，滿足熵極大的譜估計是自回歸模型的譜。1971年凡登包士（VanDenBos）證明，一維極大熵譜估計和自回歸譜的最小二乘估計是等效的。盡管如此，伯格關于熵譜估計的概念和他對自回歸參數(shù)的遞推算法卻獨樹一幟，隨后還有人提出了各種改進算法，但要注意把極大熵概念本身同等法區(qū)別開來。2．高斯過程的熵和熵率假定我們研究的隨機試驗a只有有限個不相容的結(jié)果，它們相應的概率為，且滿足，簡單描述如下：24申農(nóng)找到并證明了可以用這個量來度量的不肯定性的程度：或簡寫成：稱為試驗的熵當隨機變量的可能取值是連續(xù)的，則H定
5、義式中的和式用積分代替(5-1-1)其中為隨機變量，對數(shù)可以取10或取e為底，在比較熵的大小時并沒有影響，下面為計算方便均以自然對數(shù)ln來定義，如x為正態(tài)隨機變量，，則有(5-1-2)進一步，如果討論的是時間序列的實現(xiàn)則這一過程的熵用下面N維積分表示：(5-1-3)其中是聯(lián)合概率密度函數(shù)，若時間序列是高斯的，則(5-1-4)其中為自協(xié)方差陣(5-1-5)它的i行j列元素為的均值，表均值向量。將式（5-1-4）代入式（5-1-3）求過程x的熵24(5-1-6)式（5-1-6）就是長度為N的正態(tài)時間序列的熵。若有正態(tài)白噪聲（方差為），則可
6、求得其熵為(5-1-7)由于H隨N增長而發(fā)散，定義熵率h為(5-1-8)故白噪聲過程的熵率為(5-1-9)3．功率譜和熵率的關系下面給出功率譜和熵率間的一些重要性質(zhì)和關系。（1）如果隨機向量是隨機向量，則由于(5-1-10)其中A是N×N非奇異矩陣，X的聯(lián)合概率密度為，則由于(5-1-11)可得(5-1-12)24（2）若是一個穩(wěn)定的因果系統(tǒng)的輸入，該系統(tǒng)的傳遞函數(shù)為G(B)（這在單位園內(nèi)無極點），系統(tǒng)單位脈沖響應為。設在時開始輸入，因而系統(tǒng)輸出是平穩(wěn)的，以(5-1-13)其中(5-1-14)證明：若在t=0時開始輸入，則系統(tǒng)輸出為(
7、5-1-15)。式（5-1-15）是隨機變量通過線性變換Ax成為隨機變量，這里根據(jù)式(5-1-12)得除以（t+1）并令則現(xiàn)在只要證明等于式（5-1-13）中的第二項積分就夠了。由于，情況下有這里的線積分是沿單位園進行的，因24故式（5-1-13）中的第二項積分等于，所以需要證明由于G(B)在單位園內(nèi)是解析的，所以上式中的積分路線可以任意小，當。故上式右邊等于，證明完成。（3）若是正態(tài)過程，其功率譜滿足(5-1-15)則有(5-1-16)注：這一結(jié)論是不難看出的，因為非白正態(tài)過程的功率譜密度可以看作是方差為1的白噪聲通過頻率響應模的平
8、方等的線性系統(tǒng)所產(chǎn)生的過程的譜，因此利用式（5-1-13）和（5-1-9）就可導出式（5-1-16）。式（5-1-16）給出了過程的功率譜密度和它的熵率之間的關系式，由于右邊第一項是常數(shù)，比較的大小等價于比較第二項積分的
