《信息論基礎(chǔ)a》(清華)復(fù)習(xí)資料new

《《信息論基礎(chǔ)a》(清華)復(fù)習(xí)資料new》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、信息論基礎(chǔ)A復(fù)習(xí)資料作者郝仁第一章概論l在認(rèn)識論層次研究信息時，把只考慮到形式因素的部分稱為語法信息，把只考慮到含義因素的部分稱為語義信息；把只考慮到效用因素的部分稱為語用信息。目前，信息論中主要研究語法信息l歸納起來，香農(nóng)信息論的研究內(nèi)容包括：1)信息熵、信道容量和信息率失真函數(shù)2)無失真信源編碼定理、信道編碼定理和保真度準(zhǔn)則下的信源編碼定理3)信源編碼、信道編碼理論與方法l一般認(rèn)為，一般信息論的研究內(nèi)容除香農(nóng)信息論的研究內(nèi)容外，還包括維納的微弱信號檢測理論：包括噪聲理論、信號濾波與預(yù)測、統(tǒng)計檢測與估計理論、調(diào)制理論等。信息科學(xué)以信息為研究對象，信息科學(xué)以信息運動規(guī)律為研究內(nèi)容

2、，信息運動包括獲取、傳遞、存儲、處理和施用等環(huán)節(jié)。第二章離散信源及離散熵l單符號離散信源的數(shù)學(xué)模型：自信息量：，是無量綱的，一般根據(jù)對數(shù)的底來定義單位：當(dāng)對數(shù)底為2時，自信息量的單位為比特(bit,binaryunit)；對數(shù)底為e時，其單位為奈特(nat,natureunit)；對數(shù)底為10時，其單位為哈特(Hart,Hartley)自信息量性質(zhì)：I(xi)是隨機量；I(xi)是非負(fù)值；I(xi)是P(xi)的單調(diào)遞減函數(shù)。l單符號離散信源的離散熵：，單位是比特/符號(bit/symbol)。離散熵的性質(zhì)和定理：H(X)的非負(fù)性；H(X)的上凸性；最大離散熵定理：l如果除概率分

3、布相同外，直到N維的各維聯(lián)合概率分布也都與時間起點無關(guān)，即：則稱該多符號離散信源為N維離散平穩(wěn)信源。lN維離散平穩(wěn)信源的數(shù)學(xué)模型：l二維離散平穩(wěn)信源的離散熵：H(X2/X1)稱為條件熵，是條件信息量在聯(lián)合概率上的數(shù)學(xué)期望，H(X1X2)稱為聯(lián)合熵，離散熵H(X1)、H(X2)稱為無條件熵，H2(X1X2)稱為平均符號熵且：，l對于，，當(dāng)N→∞時，平均符號熵取極限值，稱之為極限熵，用H∞表示：l如果離散平穩(wěn)信源發(fā)出的符號序列中各符號相互獨立，則稱該信源為離散平穩(wěn)無記憶信源。N維離散平穩(wěn)無記憶信源(一維離散平穩(wěn)信源的N次擴展信源)的數(shù)學(xué)模型：，其離散熵：信源的平均符號熵：l如果離散平

4、穩(wěn)信源發(fā)出的符號只與前面已經(jīng)發(fā)出的m(

5、單義可譯碼。單義可譯碼中，如果能在對應(yīng)與每一個符號元的碼字結(jié)束時立即譯出的稱為即時碼，如果要等到對應(yīng)與下一個符號元的碼字才能譯出的稱為延時碼。異前置碼：任何一個碼字都不是其他碼字的前綴m元長度為ki,i=1,2,…,n的異前置碼存在的充分必要條件是：，（克拉夫特(Kraft)不等式）l無失真編碼定理：（香農(nóng)第一定理）如果L維離散平穩(wěn)信源的平均符號熵為HL(X1X2…XL)，對信源符號進(jìn)行m元不等長組編碼，一定存在一種無失真編碼方法，當(dāng)L足夠大時，使得每個信源符號所對應(yīng)碼字的平均比特數(shù)：無失真編碼定理從理論上闡明了編碼效率：lL→∞時，則極限熵H∞是一個界限，通常也稱為香農(nóng)界對于L

6、維離散平穩(wěn)無記憶信源，由于其平均符號熵HL(X1X2…XL)=H(X)，故對信源符號進(jìn)行m元不等長組編碼，一定存在一種無失真編碼方法，當(dāng)L足夠大時，使得每個信源符號所對應(yīng)碼字的平均比特數(shù)：，此時香農(nóng)界為H(X)。對離散平穩(wěn)信源進(jìn)行無失真編碼，每個信源符號所對應(yīng)碼字的平均比特數(shù)平穩(wěn)無記憶信源最多，m階馬爾科夫信源次之，一般平穩(wěn)信源最少。l二進(jìn)制香農(nóng)碼的編碼步驟如下：1)將符號元xi按概率進(jìn)行降序排列2)令p(x0)=0，計算第j-1個碼字的累加概率：3)確定第i個碼字的碼長ki，滿足下列不等式：4)將pa(xj)用二進(jìn)制表示，取小數(shù)點后ki位作為符號元xi的碼字。l哈夫曼(Huff

7、man)編碼1)將符號元按概率進(jìn)行降序排列2)為概率最小的符號元分配一個碼元1，概率次小的符號元分配一個碼元03)將概率最小的兩個符號元合并成一個新的符號元，用兩者概率之和作為該新符號元的概率；4)重復(fù)以上三個步驟，直到最后合并出一個以1為概率的符號元哈弗曼碼有兩種排列方式，分前置和后置。采用不同排列方法編出的哈夫曼碼，其碼字和碼長可能完全不相同，但平均碼長一定是相等的，因此編碼效率不會因排列方法而改變。但放在前面可以使短碼得到充分利用第四章離散信道及信道容量l符號離散信道的數(shù)學(xué)