信息論與編碼復習new

《信息論與編碼復習new》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、填空1.人們研究信息論的目的是為了高效、可靠、安全地交換和利用各種各樣的信息。2.信息的可度量性是建立信息論的基礎(chǔ)。3.統(tǒng)計度量是信息度量最常用的方法。4.熵是香農(nóng)信息論最基本最重要的概念。5.事物的不確定度是用時間統(tǒng)計發(fā)生概率的對數(shù)來描述的。6.單符號離散信源一般用隨機變量描述，而多符號離散信源一般用隨機矢量描述。7.一個隨機事件發(fā)生某一結(jié)果后所帶來的信息量稱為自信息量，定義為其發(fā)生概率對數(shù)的負值。8.自信息量的單位一般有比特、奈特和哈特。9.必然事件的自信息是0。10.不可能事件的自信息量是∞。11.兩個相互

2、獨立的隨機變量的聯(lián)合自信息量等于兩個自信息量之和。12.數(shù)據(jù)處理定理：當消息經(jīng)過多級處理后，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均互信息量趨于變小。13.離散平穩(wěn)無記憶信源X的N次擴展信源的熵等于離散信源X的熵的N倍。14.離散平穩(wěn)有記憶信源的極限熵，。15.對于n元m階馬爾可夫信源，其狀態(tài)空間共有nm個不同的狀態(tài)。16.一維連續(xù)隨即變量X在[a，b]區(qū)間內(nèi)均勻分布時，其信源熵為log2（b-a）。17.平均功率為P的高斯分布的連續(xù)信源，其信源熵，Hc（X）=。18.對于限峰值功率的N維連續(xù)信源，當概

3、率密度均勻分布時連續(xù)信源熵具有最大值。19.對于限平均功率的一維連續(xù)信源，當概率密度高斯分布時，信源熵有最大值。20.若一離散無記憶信源的信源熵H（X）等于2.5，對信源進行等長的無失真二進制編碼，則編碼長度至少為3。21.若把擲骰子的結(jié)果作為一離散信源，則其信源熵為log26。22.同時擲兩個正常的骰子，各面呈現(xiàn)的概率都為1/6，則“3和5同時出現(xiàn)”這件事的自信息量是log218（1+2log23）。23.根據(jù)輸入輸出信號的特點，可將信道分成離散信道、連續(xù)信道、半離散或半連續(xù)信道。24.信道的輸出僅與信道當前輸

4、入有關(guān)，而與過去輸入無關(guān)的信道稱為無記憶信道。25.具有一一對應關(guān)系的無噪信道的信道容量C=log2n。26.強對稱信道的信道容量C=log2n-Hni。27.對稱信道的信道容量C=log2m-Hmi。28.對于離散無記憶信道和信源的N次擴展，其信道容量CN=NC。29.對于N個對立并聯(lián)信道，其信道容量CN=。30.當信道的噪聲對輸入的干擾作用表現(xiàn)為噪聲和輸入的線性疊加時，此信道稱為加性連續(xù)信道。31.高斯加性信道的信道容量C=。32.信道編碼定理是一個理想編碼的存在性定理，即：信道無失真?zhèn)鬟f信息的條件是信息率小

5、于信道容量。33.高斯加性噪聲信道中，信道帶寬3kHz，信噪比為7，則該信道的最大信息傳輸速率Ct=9kHz。34.對于具有歸并性能的無燥信道，達到信道容量的條件是p（yj）=1/m）。35.信息率失真理論是量化、數(shù)模轉(zhuǎn)換、頻帶壓縮和數(shù)據(jù)壓縮的理論基礎(chǔ)。36.求解率失真函數(shù)的問題，即：在給定失真度的情況下，求信息率的極小值。37.信源的消息通過信道傳輸后的誤差或失真越大，信宿收到消息后對信源存在的不確定性就越大，獲得的信息量就越小。38.單符號的失真度或失真函數(shù)d（xi，yj）表示信源發(fā)出一個符號xi，信宿再現(xiàn)y

6、j所引起的誤差或失真。39.漢明失真函數(shù)d（xi，yj）=。40.平均失真度定義為失真函數(shù)的數(shù)學期望，即d（xi，yj）在X和Y的聯(lián)合概率空間P（XY）中的統(tǒng)計平均值。41.如果信源和失真度一定，則平均失真度是信道統(tǒng)計特性的函數(shù)。42.如果規(guī)定平均失真度不能超過某一限定的值D，即：。我們把稱為保真度準則。43.離散無記憶N次擴展信源通過離散無記憶N次擴展信道的平均失真度是單符號信源通過單符號信道的平均失真度的N倍。44.試驗信道的集合用PD來表示，則PD=。45.信息率失真函數(shù)，簡稱為率失真函數(shù)，即：試驗信道中的

7、平均互信息量的最小值。46.平均失真度的下限取0的條件是失真矩陣的每一行至少有一個零元素。47.率失真函數(shù)對允許的平均失真度是單調(diào)遞減和連續(xù)的。48.對于離散無記憶信源的率失真函數(shù)的最大值是log2n。49.當失真度大于平均失真度的上限時Dmax時，率失真函數(shù)R（D）=0。50.保真度準則下的信源編碼定理的條件是信源的信息率R大于率失真函數(shù)R（D）。1.某二元信源其失真矩陣D=，則該信源的Dmin=0。2.按照不同的編碼目的，編碼可以分為三類：分別是信源編碼、信道編碼和安全編碼。3.信源編碼的目的是：提高通信的有

8、效性。4.一般情況下，信源編碼可以分為離散信源編碼、連續(xù)信源編碼和相關(guān)信源編碼。5.連續(xù)信源或模擬信號的信源編碼的理論基礎(chǔ)是限失真信源編碼定理。6.在香農(nóng)編碼中，第i個碼字的長度ki和p（xi）之間有關(guān)系。7.對信源進行二進制費諾編碼，其編碼效率為1。8.對具有8個消息的單符號離散無記憶信源進行4進制哈夫曼編碼時，為使平均碼長最短，應增加2個概率為0的消息。9.對于香農(nóng)編