資源描述：
《《信息論與編碼》復(fù)習(xí)new》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。
1、《信息論與編碼》復(fù)習(xí)夏平三峽大學(xué)計(jì)算機(jī)與信息學(xué)院通信工程系例：同時(shí)擲兩個(gè)正常的骰子，也就是各面呈現(xiàn)的概率都是l/6，求：(1)“3和5同時(shí)出現(xiàn)”事件的自信息量；(2)“兩個(gè)1同時(shí)出現(xiàn)”事件的自信息量；(3)兩個(gè)點(diǎn)數(shù)的各種組合（無序?qū)Γ┑撵鼗蚱骄畔⒘浚?4)兩個(gè)點(diǎn)數(shù)之和(即2，3，…，12構(gòu)成的子集）的熵；(5)兩個(gè)點(diǎn)數(shù)中至少有一個(gè)是1的自信息。（1）P（3、5或5、3）＝P（3、5）+P（5、3）＝1/18I＝log2（18）＝4.1699bit。（2）P（1、1）＝l/36。I＝log2（36）＝5.1699bit。（3）相同點(diǎn)出現(xiàn)時(shí)（11、22、33、44
2、、55、66）有6種，概率1/36。不同點(diǎn)出現(xiàn)時(shí)有15種，概率1/18。H（i，j）＝6*1/36*log2（36）+15*1/18*log2（18）＝4.3366bit/事件。（4）i+j23456789101112P(i+j)1/362/363/364/365/366/365/364/363/362/361/36H(i+j)=H(1/362/363/364/365/366/365/364/363/362/361/36)=3.2744bit/事件。（5）P（1、1or1、jori、1）＝1/36+5/36+5/36＝11/36。I＝log2（36/11）＝1.
3、7105bit/事件例：居住某地區(qū)的女孩中有25％是大學(xué)生，在女大學(xué)生中有75％身高為1.6m以上，而女孩中身高1.6m以上的占總數(shù)一半。假如得知“身高1.6m以上的某女孩是大學(xué)生”的消息，問獲得多少信息量？、P（女大學(xué)生）＝1/4；P（身高>1.6m/女大學(xué)生）=3/4；P（身高>1.6m）＝1/2；P（女大學(xué)生/身高>1.6m）＝P（身高>1.6m、女大學(xué)生）/P（身高>1.6m）＝3/4*1/4*2＝3/8I＝log2（8/3）＝1.4150bit。例：一階馬爾可夫信源的狀態(tài)如圖所示，信源X的符號(hào)集為{0,1,2}。（1）求平穩(wěn)后的信源的概率分布；（2）求
4、信源熵H?ppp01pp2p（1）由狀態(tài)轉(zhuǎn)移圖可得狀態(tài)一步轉(zhuǎn)移矩陣?p0p???P?pp0????0pp??由狀態(tài)轉(zhuǎn)移圖可知：該馬爾可夫鏈具有遍歷性，平穩(wěn)后狀態(tài)的極限分布存在。由?Wipij?Wj和?pij?1可得方程組ij?W1?pW1?pW2??W2?pW2?pW3?W?pW?pW?313?W?W?W?1?123?W?1/31?解方程組得到各狀態(tài)的穩(wěn)態(tài)分布概率?W2?1/3，?W?1/3?3?p?0??1/3?所以信源平穩(wěn)后的概率分布為?p?1??1/3??p?2??1/3（2）因?yàn)樾旁礊橐浑A馬爾可夫信源，所以信源的熵???X???p?si?H?X/si??
5、p?0?H?X/0??p?1?H?X/1??p?2?H?X/2?i111?H?p,0,p??H?p,p,0??H?0,p,p??H?p,p??H?p?333例：?2/31/3?設(shè)二進(jìn)制對(duì)稱信道的概率轉(zhuǎn)移矩陣為??,?1/32/3?(1)若p(x)?3/4,p(x)?1/4,求H(X),H(X
6、Y),H(Y
7、X)和I(X;Y).01(2)求該信道的信道容量及其達(dá)到信道容量時(shí)的輸入概率分布.1(1)H(X)???p(xi)logp(xi)?0.811bit/符號(hào)i?0p(y)?p(x)p(y
8、x)?p(x)p(y
9、x)?7/120000101p(y)?1?p(y)?
10、5/12101H(Y)???p(yi)logp(yi)?0.980bit/符號(hào)i?011H(Y
11、X)????p(xi)p(yj
12、xi)logp(yj
13、xi)?0.918bit/符號(hào)i?0j?0H(XY)?H(X)?H(Y
14、X)?1.729bit/符號(hào)H(X
15、Y)?H(XY)?H(Y)?0.749bit/符號(hào)I(X;Y)?H(X)?H(X
16、Y)?0.062bit/符號(hào)(2)該信道為對(duì)稱DMC信道,因此在p(x)?p(x)?1/2時(shí),取得信道容量為:012C?log2??pijlogpij?0.082bit/符號(hào)j?1例：?S??s1s2s3s4s5s6s7?對(duì)信源
17、?????進(jìn)行二元編碼，編碼方案為?P??0.20.190.180.170.150.100.01?信息符號(hào)對(duì)應(yīng)碼字s1000s2001s3011s4100s5101s61110s71111110（1）計(jì)算平均碼長L；（2）編碼后信息傳輸率R；（3）編碼信息率R?；1.（4）編碼效率?。q（1）L??p?si??Li?3.14（碼元/信源符號(hào)）i?1（2）H?S??2.61（比特/信源符號(hào)）H?S?2.61R???0.831（bit/碼元）L3.14（3）R??Llogr=3.14（bit/信源符號(hào)）R（4）???0.831RmaxH?S?1.或者???0.831
18、R?
