信息論與編碼復(fù)習(xí)2011new

《信息論與編碼復(fù)習(xí)2011new》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、“信息論與編碼”復(fù)習(xí)1、信息的分類按照性質(zhì)，信息可以分為語法信息、語義信息和語用信息。按照地位，信息可以分成客觀信息和主觀信息。按照作用，信息可以分成有用信息、無用信息和干擾信息。按照攜帶信息的信號性質(zhì)，信息可以分成連續(xù)信息、離散信息和半連續(xù)信息等。2、單符號離散信源的數(shù)學(xué)模型3、自信息量、聯(lián)合自信息量、條件自信息量不確定度表示含有多少信息，信息量表示隨機(jī)事件發(fā)生后可以得到多少信息。4、互信息量和條件互信息量兩個(gè)不確定度之差，是不確定度被消除的部分，代表已經(jīng)確定的東西性質(zhì)：（1）對稱性（2）當(dāng)X和Y相互獨(dú)立時(shí)，

2、互信息為0（3）互信息量可為正值或負(fù)值(2.1.13)5、信源熵、條件熵、聯(lián)合熵（2.1.16）信源熵的物理含義：（1）信源熵H(X)表示信源輸出后，平均每個(gè)離散消息所提供的信息量；（2）信源熵H(X)表示信源輸出前，信源的平均不確定度；（3）信源熵H(X)反映了變量X的隨機(jī)性。（信道疑義度，損失熵）（噪聲熵）熵的基本性質(zhì)：（1）非負(fù)性;(2)對稱性；（3）最大離散熵定理；（4）擴(kuò)展性；（5）確定性；（6）可加性；（7）極值性1、平均互信息量表示收到Y(jié)前后關(guān)于X的不確定度減少量。表示發(fā)X前后關(guān)于Y的不確定度減少

3、量。說明信道兩端隨機(jī)變量X和Y之間的平均互信息量等于通信前后整個(gè)系統(tǒng)不確定度減少的量。性質(zhì)：（1）對稱性說明：對于信道兩端的隨機(jī)變量X和Y，由Y提取到的關(guān)于X的信息量與從X中提取到的關(guān)于Y的信息量是一樣的。（1）非負(fù)性說明：從整體和平均的意義說，信道每傳遞一條消息，總能提供一定的信息量，或者說接收端每收到一條消息，總能提取到關(guān)于信源X的信息量，等效于總能使信源的不確定度有所下降。（2）極值性說明從一個(gè)事件提取關(guān)于另一個(gè)事件的信息量，至多是另一個(gè)事件的熵那么多，不會超過另一個(gè)事件自身所含的信息量。（3）凸函數(shù)性平

4、均互信息量是輸入信源概率分布的上凸函數(shù)；是信道轉(zhuǎn)移概率分布的下凸函數(shù)。（4）數(shù)據(jù)處理定理：當(dāng)消息經(jīng)過多級處理后，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均互信息量趨于變小。1、多符號離散信源的熵（1）序列信息的熵（2）離散平穩(wěn)信源的熵平均符號熵：極限熵2、馬爾可夫信源的定義，含義及其極限熵當(dāng)信源的記憶長度為m+1時(shí)，該時(shí)該發(fā)出的符號與前m個(gè)符號有關(guān)聯(lián)性，而與更前面的符號無關(guān)。3、信源熵的相對率和冗余度（相對率）10、Shannon第一定理—離散無失真信源編碼定理（定長和變長）及含義？克勞夫特不等式只是用

5、來說明唯一可譯碼是否存在，并不能作為唯一可譯碼的判據(jù)。1、無失真信源編碼定理定長編碼定理：反之信息率編碼率變長編碼定理：對離散無記憶信源，消息長度為L，符號熵為H(X),對信源進(jìn)行m元變長編碼，一定存在無失真的信源編碼方法，其碼字的平均長度滿足其碼字的平均信息率R滿足2、信道分類無記憶信道和有記憶信道；有干擾信道和無干擾信道；單符號信道和多符號信道；單用戶信道和多用戶信道；連續(xù)信道、半離散信道和離散信道3、信道容量1、強(qiáng)對稱，對稱，準(zhǔn)對稱信道的含義及其C如果一個(gè)信道矩陣具有可排列性，則它所表示的信道稱為對稱信道

6、?強(qiáng)對稱信道：總的錯(cuò)誤概率是p，對稱平均地分配給(n－1)個(gè)輸出符號.?信道矩陣中每行之和等于1，每列之和也等于1。一般信道矩陣中，每列之和不一定等于1。準(zhǔn)對稱信道：一個(gè)n行m列單符號離散信道矩陣[P]的行可排列，列不可排列。但是矩陣中的m列可分成S個(gè)不相交的子集，各子集分別有m1,m2,…,ms個(gè)元素(m1+m2+…+ms=m)，由n行mk(k=1,2,…,s)列組成的子矩陣[P]k具有可排列性。14、信道編碼定理：若一離散平穩(wěn)無記憶信道，其容量為C，輸入序列長度為L，只要待傳送的信息率R

7、碼。當(dāng)L足夠長時(shí)，譯碼差錯(cuò)概率為任意正數(shù)，反之，當(dāng)R>C,任何編碼的，Pe必大于0，當(dāng)L∞,pe115、失真函數(shù)、平均失真度的定義及其含義失真函數(shù)定義：平均失真度：16、信息率失真函數(shù)R(D)的定義、性質(zhì)及其含義？R(D)與C的比較17、