資源描述：
《信息論與編碼實驗報告.doc》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。
1、NANCHANGUNIVERSITY信息論與編碼實驗報告（2018年11月27日）學(xué)院：信息工程學(xué)院系電子信息工程系專業(yè)班級：學(xué)生姓名：學(xué)號：指導(dǎo)教師：目錄實驗一自信息量和熵源實驗二準(zhǔn)對稱信道容量實驗三費諾不等式實驗四香農(nóng)編碼實驗五費諾編碼實驗六霍夫曼編碼實驗一自信息量和熵源一、實驗要求1、畫出I=-log2p的函數(shù)圖；2、畫出H(p)=-plog2p-(1-p)log2(1-p)函數(shù)圖。二、實驗原理及理論分析自信息量：一個事件的自信息量就是對其不確定性的度量。直觀地把自信息量定義為收到某消息獲得的信息量=不確定性減少的量。而事件x發(fā)生的不確定性與事件發(fā)生的概率q(x)有
2、關(guān)，概率越小，不確定性越大。定義I(x)=-logq(x)。熵（平均自信息量）：實際信源包含許多消息X=(x1,x2,…)，因此需要考慮整個信源自信息量的統(tǒng)計平均值。無記憶信源的平均自信息量定義為各消息自信息量的概率加權(quán)平均值，即平均自信息量H(X)定義為H(X)=-iqxilogq(xi)，簡稱熵。H(X)是唯一確定集合X中任一事件xi(i=1,2,…)所需要的平均信息量，反應(yīng)了X中事件xi出現(xiàn)的平均不確定性。三、實驗結(jié)果四、實驗結(jié)果分析由圖可知，I(x)是p的單調(diào)遞減函數(shù)，概率小的事件一旦發(fā)生則賦予的信息量大，概率大的事件如果發(fā)生則賦予的信息量小。當(dāng)p=1時，I(x)
3、=0，表示確定事件發(fā)生得不到任何信息。當(dāng)p=0時，I(x)→∞，表示不可能事件一旦發(fā)生，信息量將無窮大。由圖可知，對于二元信源，p=0或者p=1都對應(yīng)確定事件的分布，因此熵值H(X)為0，而等概分布時，熵值H(X)取最大值為1。一、實驗總結(jié)通過這次實驗，使用Matlab數(shù)值模擬信源熵和自信息量，進(jìn)一步理解了自信息量和熵的概念、計算和它們的物理意義。理論和實踐的結(jié)合讓我對這個知識點了解得更加深刻。實驗二準(zhǔn)對稱信道容量一、實驗要求畫出強(qiáng)對稱信道容量數(shù)值模擬圖。二、實驗原理及理論分析信道是信息傳輸?shù)耐ǖ?。信道可以按不同得特性進(jìn)行分類，根據(jù)輸入輸出信號得特點可以分為以下四類：離散
4、信道、連續(xù)信道、半連續(xù)信道、波形信道。根據(jù)統(tǒng)計特性，即轉(zhuǎn)移概率得不同，信道又分為無記憶信道和有記憶信道兩類。強(qiáng)對稱信道是一種常見的離散無記憶信道，每一子集關(guān)于行、列都對稱，它的輸入符號x∈{0，1}，輸出符號y∈{0，1}，信道特性可表示為信道矩陣。信道轉(zhuǎn)移概率p(y=0
5、x=0)=p(y=1
6、x=1)=1-p,p(y=1
7、x=0)=p(y=0
8、x=1)=p。強(qiáng)對稱信道的容量計算公式：C=logK+jpyjxilogpyjxi=logK-H(P的行矢量)一、實驗結(jié)果二、實驗結(jié)果分析由圖可知，p=0時，信道的輸入符號和輸出符號是一一對應(yīng)的關(guān)系，此時信道容量C=log2，達(dá)到
9、最大值。p=0.5時，信道的不確定性最大，此時信道容量C=0，這是一種最差的信道。p=1時，這是一種強(qiáng)噪信道，也是一種確定信道，此時信道容量也會達(dá)到最大值C=log2。三、實驗總結(jié)通過Matlab數(shù)值模擬強(qiáng)對稱信道容量，觀察最高點最低點，加深了對強(qiáng)對稱信道這一類特殊信道的理解，驗證了理論計算的正確性。實驗三費諾不等式一、實驗要求畫出費諾不等式示意圖，以H(X
10、Y)為縱坐標(biāo)，Pe為橫坐標(biāo)，畫出函數(shù)H(Pe)+Pelog(r-1)隨Pe變化的曲線圖，標(biāo)注logr點以及l(fā)og(r-1)點。二、實驗原理及理論分析設(shè)信道輸入符號X和輸出符號Y取自同一符號集A={a1,a2,…,ak
11、}，則傳輸過程中的錯誤概率Pe和信道疑義度H(X
12、Y)之間滿足下列關(guān)系式，也即著名的費諾不等式：HXY≤H2pe+pelog?(k-1)費諾不等式的物理意義：進(jìn)行一次判決后，關(guān)于X的疑義度可分為兩項：1、是否判對，疑義度為H2(pe)；2、如果判決出錯（概率為pe），錯在k-1個符號中的哪一個？疑義度不會超過log(k-1)。一、實驗結(jié)果二、實驗結(jié)果分析根據(jù)極大離散熵定理，信源的消息個數(shù)為M，則H(X)≤logM，等號當(dāng)且僅當(dāng)信源X中各消息等概時成立。如圖所示，各消息等概分布時，信道疑義度即信源熵最大為log(r)。如圖所示，當(dāng)錯誤概率為1時，判決出錯，錯誤發(fā)生在k-1個
13、符號中，疑義度最大為log(k-1)。三、實驗總結(jié)使用Matlab模擬時，p0和pd的值不能直接取到0和1，這樣圍不成一個封閉區(qū)域，p0和pd可以取到兩個無限接近0和1的值。很好地掌握極大離散熵定理是理解費諾不等式的基礎(chǔ)。實驗四香農(nóng)編碼一、實驗要求1、根據(jù)香農(nóng)編碼的方法和步驟，編寫香農(nóng)編碼程序，得到碼字和編碼效率；2、用編寫的源程序驗證書中例題的正確性，并用圖表示碼長結(jié)果。二、實驗原理及理論分析香農(nóng)編碼法是一種常用的變長編碼法，對于證明變長編碼定理起了很重要的作用。香農(nóng)編碼具體步驟如下：1、將信源發(fā)出的M個消息，按其概率遞減順
