資源描述:
《無失真信源編碼與香農第一定理ppt課件.pptx》由會員上傳分享,免費在線閱讀,更多相關內容在教育資源-天天文庫。
1、1、無失真信源編碼(1)信源編碼信源編碼——n次擴展信源到碼表的映射(2)碼表及其模型碼表——n次擴展信源發(fā)出消息的碼字為不等長的碼元序列,碼元序列中任何一個碼元都隨機取值于同一個二進制集合碼表的模型——不等長二進制離散型隨機變量序列C1C2…Cl~P(C1C2…Cl)=P(X1X2…Xn)不等長二進制隨機變量序列C1C2…Cl的取值為信源發(fā)出消息的碼字i1,i2,…,in=1,2,…,Nk1,k2,…,kl=1,2(3)平均碼長與碼率碼長——n次擴展信源發(fā)出消息xi的碼字ck的長度,用l(ck)表示,簡記為lki,k=1,2,…,N
2、n(各碼字的碼長不一定相等)平均碼長——對應于各消息碼字的碼長的數(shù)學期望,用L表示碼率——對應于各消息中每一個符號碼字的平均碼長,用R表示,R=L/n二次擴展信源的某種信源編碼平均碼長碼率R=L/n=1.29/2=0.645(bit)信源的某種信源編碼平均碼長碼率R=L/n=1.3(bit)二次擴展信源的某種信源編碼平均碼長碼率R=L/n=2.33/2=1.165(bit)問題:n次擴展信源各消息碼字的碼率,n越大,碼率越小——應該小到什么程度?2、香農第一定理離散信源的熵為H(X),對n次擴展信源進行信源編碼,對任意給定的ε>0,只
3、要碼率R≥H(X)+ε,當n足夠大,編碼無失真反之,如果碼率R
4、源編碼碼率R的下界——香農界例3:(1)利用香農第一定理驗證例2中對應于信源和二次擴展信源的信源編碼無失真(2)找例2中信源的另一種編碼,利用香農第一定理驗證其失真(1)信源的熵例2中信源的該種信源編碼的碼率R=1.3(bit)>H(X)=1.157(bit)滿足香農第一定理,例2中信源的該種信源編碼無失真例2中二次擴展信源的該種信源編碼的碼率R=1.165(bit)>H(X)=1.157(bit)滿足香農第一定理,例2中二次擴展信源的該種信源編碼無失真(2)例2中信源的另一種編碼平均碼長碼率R=L/n=1.1(bit)例2中信源的另
5、一種信源編碼的碼率R=1.1(bit)