無失真信源編碼與香農(nóng)第一定理ppt課件.pptx

《無失真信源編碼與香農(nóng)第一定理ppt課件.pptx》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、1、無失真信源編碼(1)信源編碼信源編碼——n次擴(kuò)展信源到碼表的映射(2)碼表及其模型碼表——n次擴(kuò)展信源發(fā)出消息的碼字為不等長的碼元序列，碼元序列中任何一個碼元都隨機(jī)取值于同一個二進(jìn)制集合碼表的模型——不等長二進(jìn)制離散型隨機(jī)變量序列C1C2…Cl~P(C1C2…Cl)=P(X1X2…Xn)不等長二進(jìn)制隨機(jī)變量序列C1C2…Cl的取值為信源發(fā)出消息的碼字i1,i2,…,in=1,2,…,Nk1,k2,…,kl=1,2(3)平均碼長與碼率碼長——n次擴(kuò)展信源發(fā)出消息xi的碼字ck的長度，用l(ck)表示，簡記為lki,k=1,2,…,N

2、n（各碼字的碼長不一定相等）平均碼長——對應(yīng)于各消息碼字的碼長的數(shù)學(xué)期望，用L表示碼率——對應(yīng)于各消息中每一個符號碼字的平均碼長，用R表示，R=L/n二次擴(kuò)展信源的某種信源編碼平均碼長碼率R=L/n=1.29/2=0.645(bit)信源的某種信源編碼平均碼長碼率R=L/n=1.3(bit)二次擴(kuò)展信源的某種信源編碼平均碼長碼率R=L/n=2.33/2=1.165(bit)問題：n次擴(kuò)展信源各消息碼字的碼率，n越大，碼率越小——應(yīng)該小到什么程度？2、香農(nóng)第一定理離散信源的熵為H(X)，對n次擴(kuò)展信源進(jìn)行信源編碼，對任意給定的ε>0，只

3、要碼率R≥H(X)+ε，當(dāng)n足夠大，編碼無失真反之，如果碼率R

4、源編碼碼率R的下界——香農(nóng)界例3：(1)利用香農(nóng)第一定理驗(yàn)證例2中對應(yīng)于信源和二次擴(kuò)展信源的信源編碼無失真(2)找例2中信源的另一種編碼，利用香農(nóng)第一定理驗(yàn)證其失真(1)信源的熵例2中信源的該種信源編碼的碼率R=1.3(bit)>H(X)=1.157(bit)滿足香農(nóng)第一定理，例2中信源的該種信源編碼無失真例2中二次擴(kuò)展信源的該種信源編碼的碼率R=1.165(bit)>H(X)=1.157(bit)滿足香農(nóng)第一定理，例2中二次擴(kuò)展信源的該種信源編碼無失真(2)例2中信源的另一種編碼平均碼長碼率R=L/n=1.1(bit)例2中信源的另

5、一種信源編碼的碼率R=1.1(bit)