《信息論與編碼》第3章信道容量

《《信息論與編碼》第3章信道容量》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、第三章信道容量趙永斌石家莊鐵道大學(xué)信息科學(xué)與技術(shù)學(xué)院2021年7月15日信道及其容量3.1信道容量的數(shù)學(xué)模型和分類3.2單符號(hào)離散信源3.3多符號(hào)離散信源3.4連續(xù)信道3.5信道編碼定理回顧信道是傳輸信息的媒質(zhì)或通道。（輸入→信道→輸出）說明（1）信道輸入是隨機(jī)過程。（2）信道響應(yīng)特性是條件概率P(輸出值為y

2、輸入值為x)，又稱為轉(zhuǎn)移概率。（3）信道輸出是隨機(jī)過程，輸出的概率分布可以由輸入的概率分布和信道的響應(yīng)特性得到。（全概率公式）（4）根據(jù)信道輸入、信道響應(yīng)特性、信道輸出的情況，可將信道分類：離散信道（又稱為數(shù)字

3、信道）；連續(xù)信道（又稱為模擬信道）；特殊的連續(xù)信道——波形信道；恒參信道和隨參信道；無記憶信道和有記憶信道等回顧“離散”的含義是時(shí)間離散，事件離散。即：信道的輸入、輸出時(shí)刻是離散的，且輸入隨機(jī)變量和輸出隨機(jī)變量都是離散型的隨機(jī)變量?！盁o記憶”的含義是信道響應(yīng)沒有時(shí)間延遲，當(dāng)時(shí)的輸出只依賴于當(dāng)時(shí)的輸入?！捌椒€(wěn)”的含義是信道在不同時(shí)刻的響應(yīng)特性是相同的。無干擾信道有干擾信道3.1信道容量的數(shù)學(xué)模型和分類信道的分類有記憶信道無記憶信道單符號(hào)信道多符號(hào)信道單用戶信道多用戶信道連續(xù)信道半離散信道離散信道62021/7/15信道分類

4、定義:如果（1）信道的輸入為隨機(jī)變量序列X1,X2,X3,…，其中每個(gè)隨機(jī)變量Xu的事件集合都是{0,1,…,K-1}，（2）信道的輸出為隨機(jī)變量序列Y1,Y2,Y3,…，其中每個(gè)隨機(jī)變量Yu的事件集合都是{0,1,…,J-1}，則稱該信道為離散信道。72021/7/15信道分類如果更有（3）P((Y1Y2…YN)=(y1y2…yN)

5、(X1X2…XN)=(x1x2…xN))=P(Y1=y1

6、X1=x1)P(Y2=y2

7、X2=x2)…P(YN=yN

8、XN=xN)，則稱該信道為離散無記憶信道（DMC）。如果更有（4）對(duì)任意

9、x∈{0,1,…,K-1}，y∈{0,1,…,J-1}，任意兩個(gè)時(shí)刻u和v，還有P(Yu=y

10、Xu=x)=P(Yv=y

11、Xv=x)，則稱該信道為離散無記憶平穩(wěn)信道或恒參信道。信道容量的數(shù)學(xué)模型噪聲介質(zhì)缺陷XY信源編碼信道編碼器調(diào)制器（寫入頭）信道（存儲(chǔ)介質(zhì)）解調(diào)器（寫入頭）信道譯碼器信源譯碼轉(zhuǎn)移概率矩陣p(Y

12、X)XY信道容量的數(shù)學(xué)模型P(Y/X)xY信道的數(shù)學(xué)模型：{XP(Y/X)Y}信道在某一時(shí)刻u的響應(yīng)特性P(Yu=y

13、Xu=x)；x∈{0,1,…,K-1}，y∈{0,1,…,J-1}，信道容量的數(shù)學(xué)模型二元對(duì)稱信

14、道BSC當(dāng)N＝1時(shí)p(0/0)=p(1/1)=0.9,p(1/0)=p(0/1)=0.1當(dāng)N=2時(shí)，p(00/00)=p(11/11)=p(0/0)p(0/0)=0.9*0.9=0.81P(10/00)=p(01/00)=p(01/11)=p(10/11)=0.1*0.9=0.09P(11/00)=p(00/11)=0.1*0.1=0.010.90.900110.10.1112021/7/15信道容量的數(shù)學(xué)模型（1）轉(zhuǎn)移概率矩陣的每一行都是一個(gè)概率向量。12信道容量的數(shù)學(xué)模型（2）對(duì)任意y∈{0,1,…,J-1}，由全概

15、率公式有§3.2單符號(hào)離散信道的信道容量1信道容量的定義2幾種特殊離散信道的容量3離散信道容量的一般計(jì)算方法信道容量的定義I(X;Y)是概率向量{q(x),x∈{0,1,…,K-1}}和轉(zhuǎn)移概率矩陣[p(y

16、x)，x∈{0,1,…,K-1}，y∈{0,1,…,J-1}]的函數(shù)。信道容量的定義設(shè)轉(zhuǎn)移概率矩陣[p(y

17、x)，x∈{0,1,…,K-1}，y∈{0,1,…,J-1}]（是信道的響應(yīng)特性）確定，希望選擇概率向量{q(x),x∈{0,1,…,K-1}}使I(X;Y)達(dá)到最大。信道容量信道單位時(shí)間傳輸?shù)淖畲笮畔⒘慷x離

18、散無記憶信道的信道容量定義為如下的C。達(dá)到信道容量的輸入概率分布{x,p(x),x∈{0,1,…,K-1}}稱為最佳輸入分布。其中信道容量表示了信道傳送信息的最大能力，這個(gè)量在信息論研究中有重要意義。傳送的信息量必須小于信道容量C信道容量的定義3.2.2幾種特殊離散信道的容量定義：DMC的轉(zhuǎn)移概率矩陣為若P的任一行是第一行的置換，則稱信道是關(guān)于輸入為對(duì)稱的。若P的任一列是第一列的置換，則稱信道是關(guān)于輸出為對(duì)稱的。若信道是關(guān)于輸入為對(duì)稱的，又是關(guān)于輸出為對(duì)稱的，則稱信道為對(duì)稱信道。3.2.2幾種特殊離散信道的容量一、離散無

19、噪信道1、一一對(duì)應(yīng)的無噪信道anbna1b1a2b2……a1b1a2b2an-1bn-1anbn……X、Y一一對(duì)應(yīng)C＝maxI(X;Y)＝lognp(ai)a1b1b2b32、具有擴(kuò)展功能的無噪信道a2b4b5b6a3b7b8此時(shí)，H(X/Y)=0，H(Y/X)0，且H(X)