資源描述：
《信息論基礎54360new》由會員上傳分享，免費在線閱讀，更多相關內(nèi)容在教育資源-天天文庫。
1、第四章信源編碼?信源編碼和信道編碼?序列信息論基礎?本章的內(nèi)容：–序列的傳輸–定長信源編碼西安交通大學電信學院信通系–變長編碼，最佳變長編碼定理及編碼方法鄧科西安交通大學信通系第四章信源編碼第四章信源編碼4.1序列傳輸4.1序列傳輸L()?設一離散信源發(fā)出數(shù)符序列u=u,u,",u，其?序列發(fā)生的概率等于序列各符號發(fā)生的概率之積12L中ul∈{a1,a2,…,aK}，考察發(fā)出序列UL的概率I(uL)=log1L()p(u)pu,u,",u12L1=p(u)p(u,",u
2、u)=log12L1p()
3、u"u"u1lL=p(u1)p(u2
4、u1)p(u3,",uL
5、u1u2)無記憶1=logp(u)p(u)…p(u)=p(u)p(u
6、u)"p(u
7、u"u)12L121L1L?1111=log+log+"+log根據(jù)無記憶特性p(u1)p(u2)p(uL)無記憶L=I(u1)+I(u2)+"+I(uL)p(uL)=p()u"u"u=p(u)p(u)…p(u)=∏p(u)序列的信息量等于序列各1lL12LlLl=1=∑I(ul)符號攜帶的信息量之和l=1西安交通大學信通系西安交通大學信通系第四章信源
8、編碼第四章信源編碼4.1序列傳輸4.1序列傳輸=H(U)+H(U)+"+H(U)?熵（定義在序列集合上）12LLH(UL)=?∑p(uL)logp(uL)=∑H(Ul)l=1LLu∈U=LH(U)L1=∑∏[(pul)]logLL長序列的熵等于一個符號熵的L倍uU∈Ll=1∏pu()ll=1注意符號和小寫，大寫L111=+∑∏[pu()][logllog+"+log]uU∈Ll=1pu()12pu()pu()L1=∑∑pu()log12[""∑pu()pu()]Luu12pu()1uL1+∑∑pu
9、()log21[∑""∑pupu()()()]3puLuu21pu()2u3uL1++""∑∑pu()lLLog[∑pu()()11"pu?]uupu()LuLL11?西安交通大學信通系西安交通大學信通系第四章信源編碼第四章信源編碼4.1序列傳輸4.1序列傳輸?回憶：有條件的信息熵不超過無條件的信息熵?序列的傳輸，信道的輸入是N，長度為N的序XI(X;Y)=H(X)-H(X
10、Y)≥0?H(X)≥H(X
11、Y)列；信道是個無記憶時不變的信道；經(jīng)過傳輸N后，輸出為Y，仍為長度為N的序列。?有記憶時序列的
12、信息量NNLX=(x1,x2,…,xN),xi∈{a1,a2,…,aK}KI(u)=I(u)+I(u
13、u)+"+I(u
14、u"u)121L1L?1YN=(y,y,…,y),y∈{b,b,…,b}N?求平均，得到熵12Ni12JJNNH(UL)=H(U)+H(U
15、U)+"+H(U
16、U"U)可將這種情況等效為K個輸入，J個輸出的信道121L1L?1∵H(U
17、U)≤H(U)""H(U
18、U"U)≤H(U)使用一次212L1L?1L∴有記憶時的信息熵小于無記憶時的信息熵?例4.1.1：二元對稱信道BSC用二次
19、，即K=J=2,N=2?有記憶就表示有冗余總的來看輸入和輸出序列均為00,01,10,11共四個。相當于一個四進制數(shù)符傳過信道西安交通大學信通系西安交通大學信通系第四章信源編碼第四章信源編碼4.1序列傳輸4.1序列傳輸NNNN1?它的轉(zhuǎn)移概率必然為p(00
20、00),…,p(11
21、11)共16個。H(X
22、Y)=∑p(x,y)logNN來看看這兩種信道的等價關系xN,yNp(x
23、y)1122="=∑p(x1,y1)log+"+∑p(xN,yN)logp(y=2
24、x=3)四元信道x1,y1p(x1
25、y1
26、)xN,yNp(xN
27、yN)=p(y2=10
28、x2=11)二元信道使用兩次=H(X1
29、Y1)+"+H(XN
30、YN)=NH(X
31、Y)=p(y=1
32、x=1)p(y=0
33、x=1)1122那么NNNNN一般地P(yNxN)=∏P()yxI(X;Y)=H(X)?H(X
34、Y)nnn=NH(X)?NH(X
35、Y)NN現(xiàn)在考慮序列的互信息熵，先看條件熵H(X
36、Y)=N[H(X)?H(X
37、Y)]=NI(X;Y)西安交通大學信通系西安交通大學信通系第四章信源編碼第四章信源編碼4.1序列傳輸?總結序列的概率、信息和互信息
38、熵和符號的概率、信息和?假設信道理想，討論信源編碼，兩個角度出發(fā)考互信息熵之間的關系慮：N(N)()N?對于輸入X，Px=∏PxkH(X)=NH()X–為使理想信道達信道容量，輸入盡可能等概——要求k信源編碼輸出有等概或盡量接近等概?對于輸出N，(N)()NYPy=∏PyjH(Y)=NH(Y)–信源編碼追求目標是快速、高效——要求信源編碼輸l出盡可能短?對于信道的特性，NN(NN)()H(YX)=NH()YXPyx=∏Pynxnn?對于信道傳輸?shù)幕バ畔⒘浚?NN)()IX;Y=NI
