信息論各種熵之間的關(guān)系.ppt

《信息論各種熵之間的關(guān)系.ppt》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、2.1.5各種熵之間的關(guān)系XYXYXYXYXY2.2.1無記憶擴(kuò)展信源的熵2.2.2離散平穩(wěn)信源的熵2.2.3馬爾可夫信源2.2.4信源的冗余度2.2擴(kuò)展信源無記憶的離散信源序列離散有記憶序列信源離散平穩(wěn)信源馬爾可夫信源無記憶擴(kuò)展信源每次發(fā)出一組含兩個以上符號的符號序列代表一個消息，而且所發(fā)出的各個符號是相互獨(dú)立的，各個符號的出現(xiàn)概率是它自身先驗(yàn)概率。序列中符號組的長度即為擴(kuò)展次數(shù)。離散平穩(wěn)信源隨機(jī)矢量中的各隨機(jī)變量的統(tǒng)計(jì)特性都不隨時(shí)間推移而變化。1、離散無記憶二進(jìn)制信源X的二次擴(kuò)展信源每兩個二進(jìn)制數(shù)字構(gòu)成一組，則新的等效信源X的輸出符號為00，01，10，11。若單符號離散信

2、源的數(shù)學(xué)模型為二次擴(kuò)展信源的數(shù)學(xué)模型為其中，X2表示二次擴(kuò)展信源。這里，a1=00,a2=01,a3=10,a4=11。且有2.2.1無記憶擴(kuò)展信源的熵2、離散無記憶信源X的N次擴(kuò)展信源（1）數(shù)學(xué)模型設(shè)單符號離散信源的數(shù)學(xué)模型為滿足則其N次擴(kuò)展信源用XN來表示，其數(shù)學(xué)模型為滿足每個符號ai對應(yīng)于某個有N個xi組成的序列。在N次擴(kuò)展信源XN中，符號序列構(gòu)成的矢量其各分量之間是彼此統(tǒng)計(jì)獨(dú)立的，即（2）熵N次擴(kuò)展信源的熵按信息熵的定義為其單位為比特/符號序列。H(XN)=H(X1X2…XN)=H(X1)+H(X2/X1)+H(X3/X1X2)+…+H(XN/X1X2…XN-1)由于無

3、記憶擴(kuò)展信源的各Xi之間是彼此獨(dú)立的，且各個H(Xi)=H(X),所以H(XN)=H(X1X2…XN)=H(X1)+H(X2)+H(X3)+…+H(XN)=NH(X)單符號信源如下,求二次擴(kuò)展信源熵?cái)U(kuò)展信源：例離散平穩(wěn)信源各維聯(lián)合概率均與時(shí)間起點(diǎn)無關(guān)的完全平穩(wěn)信源。對于隨機(jī)變量序列X=X1X2…XN,若任意兩個不同時(shí)刻i和j(大于2的任意整數(shù))，信源發(fā)出消息的概率分布完全相同，即一維平穩(wěn)信源P(Xi=x1)=P(Xj=x1)=p(x1)P(Xi=x2)=P(Xj=x2)=p(x2)…P(Xi=xn)=P(Xj=xn)=p(xn)2.2.2離散平穩(wěn)信源的熵1.定義二維平穩(wěn)信源P(

4、Xi=x)=P(Xj=x)=p(x)P(Xi=x1,Xi+1=x2)=P(Xj=x1,Xj+1=x2)=p(x1x2)其中x1,x2∈X=(x1,x2,…xn)離散平穩(wěn)信源P(Xi)=P(Xj)P(XiXi+1)=P(XjXj+1)…P(XiXi+1Xi+2…Xi+N)=P(XjXj+1Xj+2…Xj+N)反映信源記憶特性的兩方法：用聯(lián)合概率反映信源記憶特性用條件概率反映信源記憶特性122.二維信源每組中的后一個符號與前一個符號有統(tǒng)計(jì)關(guān)聯(lián)關(guān)系，而這種概率性的關(guān)聯(lián)與時(shí)間的起點(diǎn)無關(guān)。假定符號序列的組與組之間是統(tǒng)計(jì)獨(dú)立的。一般地例原始信源：條件概率：X1X2H(X1X2)=H(X1)

5、+H(X2/X1)=1.542+0.870=2.412(比特/符號)3.N維離散平穩(wěn)有記憶信源(1)熵平均符號熵：極限熵：(2)極限熵（3）性質(zhì)條件熵H(XN

6、X1X2…XN-1)隨著N的增加而遞減證明：H(XN

7、X1X2…XN-1)≤H(XN

8、X2…XN-1)（條件熵小于等于無條件熵）=H(XN-1

9、X1X2…XN-2)（序列的平穩(wěn)性）若N一定，則平均符號熵大于等于條件熵HN(X)≥H(XN

10、X1X2…XN-1)證明：NHN(X)=H(X1X2…XN)=H(X1)+H(X2

11、X1)+…+H(XN

12、X1X2…XN-1).=H(XN)+H(XN

13、XN-1)+…+H(XN

14、X1X2

15、…XN-1)（序列平穩(wěn)性）≥NH(XN

16、X1X2…XN-1)（條件熵小于等于無條件熵）所以HN(X)≥H(XN

17、X1X2…XN-1)平均符號熵也隨N的增加而遞減證明：NHN(X)=H(X1X2…XN)=H(XN

18、X1X2…XN-1)+H(X1X2…XN-1)=H(XN

19、X1X2…XN-1)+(N-1)HN-1(X)≤HN(X)+(N-1)HN-1(X)所以HN(X)≤HN-1(X)，即序列的統(tǒng)計(jì)約束關(guān)系增加時(shí)，由于符號間的相關(guān)性，平均每個符號所攜帶的信息量減少。如果H(X)<∞，則存在，并且作業(yè)：2.172.182.17某一無記憶信源的符號集為{0,1}，已知P(0)=1/4，

20、P(1)=3/4。(1)求符號的平均熵；(2)有100個符號構(gòu)成的序列，求某一特定序列（例如有m個“0”和（100-m）個“1”）的自信息量的表達(dá)式；(3)計(jì)算(2)中序列的熵。2.18設(shè)有一個信源，它產(chǎn)生0，1序列的信息。它在任意時(shí)間而且不論以前發(fā)生過什么符號，均按P(0)=0.4，P(1)=0.6的概率發(fā)出符號。(1)試問這個信源是否是平穩(wěn)的？(2)試計(jì)算H(X2),H(X3/X1X2)及H∞；(3)試計(jì)算H(X4)并寫出X4信源中可能有的所有符號。此課件下載可自行編輯修改，此課件供參考