信息論與編碼復(fù)習(xí)題57681new

《信息論與編碼復(fù)習(xí)題57681new》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、1.從大量統(tǒng)計中知道，男性紅綠色盲的發(fā)病率為，女性發(fā)病率為，如果你問一對男女“你是否是紅綠色盲？”他們分別回答可能是“是”。問此回答各含多少信息量？平均每個回答各含多少信息量？4,6,11/322.地區(qū)的女孩中有25％是大學(xué)生，在女大學(xué)生中有75％是身高1.6米以上的，而女孩中身高1.6米以上的占半數(shù)一半。假如我們得知“身高1.6米以上的某女孩是大學(xué)生”的消息，問獲得多少信息量？3.設(shè)有一連續(xù)隨機(jī)變量，其概率密度函數(shù)為：，試求這隨機(jī)變量的熵。又若，，試分別求出和的熵和。4.設(shè)隨機(jī)變量取值于，，已知的數(shù)學(xué)期望,求使達(dá)到最大的概率分布和該分布的熵.5.設(shè)Markov信源的

2、狀態(tài)空間為：，其一步轉(zhuǎn)移概率如下:1)畫出狀態(tài)轉(zhuǎn)移圖？2)求該信源的平穩(wěn)分布.4/9,5/93)求該信源的極限分布.6.一信源產(chǎn)生概率為的統(tǒng)計獨(dú)立二進(jìn)制數(shù)符。這些數(shù)符組成長度為100的數(shù)符組。我們?yōu)槊恳粋€含有3個或少于3個“1”的源數(shù)符組提供一個二進(jìn)制碼字，所有碼字的長度相等。①求出為所規(guī)定的所有源符組都提供碼字所需的最小碼長。18②求信源發(fā)出一數(shù)符組，而編碼器無相應(yīng)碼字的概率。0.001685157.設(shè)有一Markov信源，其狀態(tài)集為，符號集為，在某狀態(tài)下發(fā)出符號的概率如圖所示。（1）、證明該信源的遍歷性，并求其穩(wěn)定分布；（2）、求該信源的極限熵；10/9（3）、求

3、信源穩(wěn)定后符號的概率分布。15/27,5/27,7/278.離散無記憶信道的轉(zhuǎn)移概率矩陣為，求該信道的信道容量，及其最佳輸入分布。9.設(shè)離散無記憶信道的轉(zhuǎn)移概率矩陣為，求出信道容量及其達(dá)到信道容量的最佳輸入概率分布。并求當(dāng)時的信道容量。10.已知一個信源包含八個符號消息,它們的概率分布如下表,ABCDEFGH0.10.180.40.050.060.10.070.04①求該信源的熵。②對八個符號作二進(jìn)制碼元的霍夫曼編碼,寫出各代碼組,并求出編碼效率。③對八個符號作三進(jìn)制碼元的霍夫曼編碼,寫出各代碼組,并求出編碼效率。11.有一個含有8個消息的無記憶信源，其概率各自為0.

4、2，0.15，0.15，0.1，0.1，0.1，0.1，0.1。試編成兩種三元非延長碼，使它們的平均碼長相同，但具有不同的碼長的方差。并計算其平均碼長和方差，說明哪一種碼更實(shí)用些。12.求下圖中DMC的信道容量。如果輸入分布為{p(x=0)=1/2，p(x=1)=1/4，p(x=2)=1/4），試求輸入的信息熵和經(jīng)過該信道的輸入、輸出間的平均互信息量。11020231/31/31/31/31/31/31/31/31/313.設(shè)二元對稱信道的傳遞矩陣為1)若，求和；2)求該信道的信道容量及其達(dá)到信道容量時的輸入概率分布。14.設(shè)有一離散信道，其信道轉(zhuǎn)移概率矩陣為，并設(shè)，

5、，試分別按最小錯誤概率準(zhǔn)則和極大似然譯碼準(zhǔn)則確定譯碼規(guī)則，并計算相應(yīng)的平均錯誤概率。15.令，失真矩陣為，對于一個等概率輸入的隨機(jī)變量，求率失真函數(shù)對應(yīng)的定義域和。16.證明：H(X

6、Y)+H(Y

7、Z)≥H(X

8、Z)17.證明離散平穩(wěn)信源有：18.試證明長度為N的r元不等長編碼至多有個碼字。簡答題1、信息通訊系統(tǒng)模型答：信源，編碼器，信道，譯碼器，信宿2、平均互信息是什么？寫出常用的三種表達(dá)式，并用語言描述。答：平均互信息是信源與信宿間平均傳遞（或接收）信息量大小的度量1、信源冗余度（剩余度）是什么？其有何應(yīng)用？大：冗余度是用來衡量信源輸出的符號序列中各符號之間的依賴

9、程度的量。從提高傳輸信息效率的觀點(diǎn)出發(fā)，總是希望減少或去掉冗余度。冗余度大的消息具有強(qiáng)的抗干擾能力。2、香農(nóng)第一、第二、第三編碼定理分別指什么？并描述第一定理。答：香農(nóng)第一定理：變長信源編碼定理香農(nóng)第二定理：有噪信道編碼定理香農(nóng)第三定理：保真度準(zhǔn)則下的信源編碼定理香農(nóng)第一定理：離散無記憶信源X的N次擴(kuò)展信源，其熵為，并有碼符號集A＝{a1,…,ar}。對信源進(jìn)行編碼，總可以找到一種編碼方法，構(gòu)成唯一可譯碼，使信源X中每個信源符號所需的平均碼長滿足，或者3、你是如何理解信源編碼的？答：信源編碼的主要任務(wù)（1）符號變換：使信源輸出符號與信道的輸入符號相匹配。（2）減少冗余

10、，具體的說，就是針對信源輸出符號序列的統(tǒng)計特性，尋找一定的把信源輸出符號序列變換為最短碼字序列的方法。4、信道的組合有哪些？并分別寫出由兩個信道構(gòu)成的組合信道的信道容量。積信道，信道容量為C=C1+C2。和信道，信道容量為。級聯(lián)信道，信道容量為C≤min{C1,C2}。5、請寫出對稱信道、準(zhǔn)對稱信道的信道特征，并給出對稱信道信道容量的計算公式？輸入對稱轉(zhuǎn)移概率矩陣P的每一行都是第一行的重新排列(包含同樣元素)，稱該矩陣是輸入對稱。輸出對稱轉(zhuǎn)移概率矩陣P的每一列都是第一列的重新排列(包含同樣元素)，稱該矩陣是輸出對稱。對稱的DMC信道輸入、輸出都對稱。