《信息論與編碼》復習大綱new

《《信息論與編碼》復習大綱new》由會員上傳分享，免費在線閱讀，更多相關內容在教育資源-天天文庫。

1、《信息論與編碼》復習大綱本課程核心內容：一、信息論基礎信息量、信息熵、互信息、信息率失真函數(shù)以及信道容量的定義、性質與計算二、編碼定理及編碼技術1、三大編碼定理（無失真信源編碼定理、有噪信道編碼定理，限失真信源編碼定理）2、信源編碼：無失真和限失真編譯碼基本原理和方法－香農編碼、費諾編碼、哈夫曼編碼及算術編碼3、信道編碼：線形分組碼、循環(huán)碼、卷積碼（veitebi）等常用碼的編譯碼基本原理和方法章節(jié)重點內容：第一章：通信系統(tǒng)模型第二章：信源與信息熵1、馬爾可夫信源：轉移概率矩陣：符號條件概率矩陣：穩(wěn)態(tài)分布概率：例題2-2，類題2-1,2-22、自信息量I(xi)=-logp(xi)聯(lián)合自

2、信息量：I(xi,yj)=-logp(xi,yj)性質及計算條件自信息量：I(xi

3、yj)=-logp(xi

4、yj)3、平均自信息量及信源熵（極值條件）條件熵聯(lián)合熵三者之間的關系：H(X,Y)=H(X)+H(Y

5、X)H(X,Y)=H(Y)+H(X

6、Y)類題：例2-8，2-9習題2-7，2-10，2-124、互信息：(極大值和極小值)結論：當p(yj

7、xi)一定時，互信息I(X;Y)是信源分布p(xi)的上凸函數(shù)，有極大值(信道容量)；當p(xi)一定時，互信息I(X;Y)是信源分布p(yj

8、xi)的下凸函數(shù)，有極小值(信源壓縮極限)。5、熵的性質：非負性、對稱性、確定性、香農輔助定理、最

9、大熵定理、條件熵小于無條件熵6、離散序列信源的熵：(1)無記憶信源：(2)無記憶平穩(wěn)信源：H(X1)=H(X2)=…H(XL)(3)離散有記憶信源序列的熵（馬爾可夫信源熵）：例2-11及其結論(4)極限熵：馬氏鏈極限熵的計算：例2-12，2-29，2-32其中：7、連續(xù)信源最大熵定理：限峰功率及限平均功率第三章：信道與信道容量（基本概念）1、兩個概念：信息傳輸率：信道在單位時間內平均傳輸?shù)男畔⒘縍=I(X;Y)=H(X)－H(X/Y)Rt=I(X;Y)/t比特/秒信道容量：比特/符號2、離散單個符號的信道容量：(1)無干擾離散信道的信道容量¨X、Y一一對應C=maxI(X;Y)=logn

10、¨多個輸入變成一個輸出C=maxI(X;Y)=maxH(Y)¨一個輸入對應多個輸出C=maxI(X;Y)=maxH(X)(要求：掌握達到信道容量時的信源分布)(2)對稱DMC信道的信道容量例：(3)準對稱信道的信道容量：將轉移概率矩陣劃分成若干個互不相交的對稱的子集3、連續(xù)信道及其容量(1)連續(xù)單符號加性信道信道輸入X是均值為零、方差為S的高斯分布隨機變量時，信息傳輸率達到最大值(2)加性非高斯噪聲信道的信道容量的上下界：(3)限時限頻限功率加性高斯白噪聲信道信道容量：單位時間的信道容量(香農公式)：－增加信道容量的措施達到香農限的條件：輸入信號是平均功率受限的高斯信號，非高斯信號信道容

11、量小。3-5,3-6,3-10第四章：信息率失真函數(shù)（基本概念）1、失真矩陣及平均失真函數(shù)2、保真度準則：3、信息率失真函數(shù)：對于離散無記憶信源：(1)R(D)的物理意義：對于給定信源，在平均失真不超過失真限度D的條件下，信息率容許壓縮的最小值為R(D)。(2)離散R(D)函數(shù)的定義域和值域：Dmin=0(3)R(D)的曲線圖－性質4-2,4-3,4-4第五章：信源編碼1、奇異碼、非奇異碼、唯一可譯碼、即時碼的判定（表5-2）、Kraft不等式、碼樹圖、平均碼長的計算2、無失真信源編碼：(1)定長編碼定理：(基本概念)由L個符號組成的，信源的符號熵（平均符號熵）為HL(X)的平穩(wěn)無記憶離

12、散信源序列X=(X1,X2,…,Xl,…,XL)，可用K個符號Y1,Y2,…,YK（每個符號有m種可能值）進行定長編碼。對任意ε>0，δ>0，只要則當L足夠大時，必可使譯碼差錯小于δ；反之，當譯碼差錯一定是有限值。而當L足夠大時，譯碼幾乎必定出錯。編碼效率：(2)最佳變長編碼定理(香農第一定理)：最優(yōu)碼的平均碼字長度滿足：或(符號序列)掌握四種編碼方法：香農碼、費諾碼、哈夫曼編碼及算術編碼(累計概率的計算)及編碼效率的計算例5-10，作業(yè)5-1,5-5,5-12第六章：信道編碼1、基本概念：差錯符號、差錯比特；差錯圖樣：隨機差錯、突發(fā)差錯糾錯碼分類：檢錯和糾錯碼、分組碼和卷積碼、線性碼與

13、非線性碼、糾隨機差錯碼和糾突發(fā)差錯碼矢量空間、碼空間及其對偶空間有擾離散信道的編碼定理：2、線性分組碼(封閉性)：生成矩陣及校驗矩陣、系統(tǒng)形式的G和H、伴隨式與標準陣列譯碼表、碼距與糾錯能力、完備碼(漢明碼)、循環(huán)碼的生成多項式及校驗多項式、系統(tǒng)形式的循環(huán)碼、CRC碼例題6-2，6-3，6-5，6-6；作業(yè)6-1，6-3，6-4，6-6,6-8，