《信息論與編碼》結(jié)課總結(jié).pdf

《《信息論與編碼》結(jié)課總結(jié).pdf》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在應(yīng)用文檔-天天文庫。

1、《信息論與編碼》結(jié)課總結(jié)一、資料來源：課件：林果園老師。二、說明：標(biāo)題后數(shù)據(jù)為所對(duì)應(yīng)的錄音時(shí)間；所要掌握的是相關(guān)方面最基礎(chǔ)的知識(shí)與定理；部分知識(shí)需要了解，部分知識(shí)需要掌握并懂得怎樣用于做題；首先理解相關(guān)基本概念、性質(zhì)和定理，其次多復(fù)習(xí)平時(shí)作業(yè)、課堂講解及課堂小測(cè)驗(yàn)，許多題目相似；考試難度不會(huì)超過平時(shí)題目的難度；做題認(rèn)真，步驟完整。三、內(nèi)容：1.當(dāng)代文明的三大科學(xué)支柱：（0.50）材料科學(xué)、信息科學(xué)與能源科學(xué)。2.信息論發(fā)展的過程（1.50）過程：語言的產(chǎn)生文字的產(chǎn)生印刷術(shù)的發(fā)明電報(bào)、電話的發(fā)明計(jì)算機(jī)技術(shù)與通信技

2、術(shù)的結(jié)合應(yīng)用且信息論研究對(duì)象是廣義的通信系統(tǒng)。要求：簡(jiǎn)單了解即可。信息論的主要開創(chuàng)者（2.40）香農(nóng)、維納3.研究信息論的目的（3.00）為了高效、可靠、安全、經(jīng)濟(jì)且隨心所欲地交換和利用各種各樣的信息。4.信息理論當(dāng)中度量信息的基本觀點(diǎn)（3.20）三種觀點(diǎn)要說清楚。通信系統(tǒng)模型（4.00）5.衡量通信系統(tǒng)的性能指標(biāo)及對(duì)應(yīng)的編碼（4.30）有效性：傳遞信息時(shí)信源用盡量少的符號(hào)表示盡可能多的信息；信源編碼可靠性：信息在信道的傳輸過程中衰減和干擾影響最?。恍诺谰幋a（研究的就是如何進(jìn)行可靠的傳輸，首先要知道什么是信道容

3、量）安全性：防止敵意所導(dǎo)致的破壞；安全編碼6.信源符號(hào)的自信息量的含義與計(jì)算（6.30）定義：信源發(fā)出符號(hào)所含的信息量叫做自信息量，簡(jiǎn)稱為自信息。表示：I(a)??logp(a)i2i提示：基本的計(jì)算如自信息量、熵等都要知道。7.信源符號(hào)間互信息量與平均互信息量的三個(gè)含義（7.25）互信息量定義：我們定義a的后驗(yàn)概率與先驗(yàn)概率比值的對(duì)數(shù)為b對(duì)a的互信息量，也叫交互信息iji量。定義式：p(ab)ijI(a;b)?logijp(a)i(i?1,2,?,n;j?1,2,?,m)三個(gè)含義：含義一：站在輸出端的角度來看

4、，兩個(gè)不確定度之差，是不確定度被消除的部分，代表已經(jīng)確定的東西，實(shí)踐是從b得到的關(guān)于a的信息量。ji含義二：站在輸入端的角度來看，在輸入端發(fā)出a前、后，地輸出端出現(xiàn)b的不確定ij度的差。含義三：從通信系統(tǒng)的總體立場(chǎng)上，通信前后不確定度的差。平均互信息量（8.30）定義：互信息量在聯(lián)合概率空間P(XY)中的統(tǒng)計(jì)平均值叫做平均互信息量。定義式：nmnmp(ab)ijI(X;Y)?E[I(ai;bj)]???p(aibj)I(ai;bj)???p(aibj)logi?1j?1i?1j?1p(ai)三個(gè)含義：含義一：從

5、輸出端的角度來看，平均互信息量是收到Y(jié)前、后，關(guān)于X的不確定度減少的量，即由Y獲得的關(guān)于X的平均信息量。含義二：從輸入端的角度來看，平均互信息量是發(fā)送X前、后，關(guān)于Y的平均不確定度減少的量。含義三：從通信的整體來看，平均互信息量等于通信前、后，整個(gè)系統(tǒng)不確定度減少的量?？偨Y(jié)：信息就是負(fù)熵——從一個(gè)事件獲得另一個(gè)事件的平均互信息需要消除不確定度，一旦消除了不確定度，就獲得了信息。提示：站在三個(gè)不同的角度，具體內(nèi)容在26、27和28頁；平均互信息量是一個(gè)非常重要的概念；此處的概念涉及到后面的相關(guān)定理的引出。8.信源

6、熵的三種物理含義及求解方法（12.25）信源熵的定義：三.信源熵熵信源條熵聯(lián)件合熵熵信源各個(gè)離散消息的自信息量的數(shù)學(xué)期望為信源的信源熵。三種物理含義及求解方法：信源輸出后，平均每個(gè)離散消息所提供的信息量；信源輸出前，信源的平均不確定度；變量X的隨機(jī)性。注意：信息量是一個(gè)得到的概念，而不確定度則是一個(gè)概念的概念。求解方法：n1H(X)?E[I(ai)]?E[log2]???p(ai)log2p(ai)p(ai)i?1同理可推出條件熵和聯(lián)合熵的求解方法。9.離散信源的聯(lián)合熵、條件熵、平均互信息量的含義及相互之間的關(guān)

7、系。（13.10）聯(lián)合熵：H(XY)條件熵：H(X/Y)或H(Y/X)平均互信息量：I(X;Y)10.信源的平穩(wěn)性和無記憶性的含義（14.45）當(dāng)信源所發(fā)符號(hào)序列的概率分布與時(shí)間的起點(diǎn)無關(guān)且符號(hào)之間無依賴關(guān)系，則稱此信源為平穩(wěn)無記憶信源。11.離散無記憶信源的信源熵、N次擴(kuò)展的信源熵計(jì)算。（15.30）NH(X)=NH(X)注意：這里必須是離散平穩(wěn)無記憶信源才行。12.N階馬爾科夫信源的定義（16.00）定義：以信源輸出符號(hào)序列內(nèi)各符號(hào)間條件概率來反映記憶特性的一類信源叫做馬爾可夫信源。而當(dāng)馬爾可夫信源的當(dāng)前輸

8、出符號(hào)僅與前面N個(gè)符號(hào)有關(guān)時(shí)，稱之為N階馬爾可夫信源。提示：相對(duì)于無記憶特性的有記憶特性應(yīng)用；定義方法；一般在三階以內(nèi)。13.低階馬爾科夫信源的狀態(tài)轉(zhuǎn)移圖、各狀態(tài)的穩(wěn)態(tài)分布概率(狀態(tài)極限概率)、極限熵H∞=Hn+1（0.20）提示：相關(guān)概念的理解；對(duì)于概念的計(jì)算和應(yīng)用；對(duì)于狀態(tài)要有很好的理解；階數(shù)與符號(hào)數(shù)間是有關(guān)系的。14.信道容量的含義（4.00）提示：對(duì)平均互信息量取的極大值；特性