信源—信道編碼定理

《信源—信道編碼定理》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、第5章信道—信源編碼定理通用通信系統(tǒng)其中：編碼器包括信源編碼和信道編碼兩個(gè)部分；譯碼器包括信道譯碼和信源譯碼兩個(gè)部分；信道為有噪信道。信道編碼給定信道輸入符號(hào)集AX；給定信道輸出符號(hào)集AY；對(duì)每個(gè)輸入符號(hào)x，存在一個(gè)非負(fù)實(shí)數(shù)b(x)，為傳輸x的代價(jià)。定義n階容量—代價(jià)函數(shù)：信道的容量—代價(jià)函數(shù)：信道編碼定理（香農(nóng)第二定理）：一般來(lái)說(shuō)，抗干擾能與信息傳輸率二者相互矛盾。然而編碼定理已從理論上證明，至少存在某種最佳的編碼能夠解決上述矛盾，做到既可靠又有效地傳輸信息。信源雖然多種多樣，但無(wú)論是哪種類型的信源，信源符號(hào)之間總存在相關(guān)性和分布的不均勻性，使得信源存在冗余度。信源編碼的目的就是要減少冗余

2、，提高編碼效率。信源編碼給定信源符號(hào)集AU；信宿符號(hào)集AV；失真測(cè)度d(u,v)；K階率失真函數(shù)：信源的率失真函數(shù)：信源編碼定理（香農(nóng)第三定理）香農(nóng)第三定理是一個(gè)存在定理，至于如何尋找這種最佳編碼方法并沒(méi)有給出，在實(shí)際應(yīng)用中，存在一下兩方面的問(wèn)題：1、符合實(shí)際信源的R(D)函數(shù)的計(jì)算相當(dāng)困難。1）需要對(duì)實(shí)際信源的統(tǒng)計(jì)特性有確切的描述2）需要對(duì)符合主客觀實(shí)際的失真給予正確的描述3）即使?jié)M足了前兩條，R(D)的計(jì)算也比較困難2、即使求得很好的R(D)函數(shù)，還需要研究采取何種編碼方法才能達(dá)到極限值R(D)。例：要對(duì)此信源進(jìn)行無(wú)失真編碼，每個(gè)信源符號(hào)必須用一個(gè)二元符號(hào)來(lái)表示，信源的信息輸出率為R=H

3、=1。若允許失真存在，并定義失真函數(shù)為漢明失真，即可以設(shè)想這樣一種信源編碼：無(wú)噪無(wú)損信道傳輸這種編碼方法，可以看成是一種特殊的試驗(yàn)信道信息率為1/3，而平均失真為1/4，根據(jù)香農(nóng)第三定理，若允許失真D=1/4時(shí)，總可以找到一種編碼，使信息輸出率達(dá)到極限R(1/4)信源—信道匹配當(dāng)信源與信道相連接時(shí)，其信息傳輸率并未達(dá)到最大.希望能使信息傳輸率越大越好，能達(dá)到或盡可能接近于信道容量,信息傳輸率接近于信道容量只有在信源取最佳分布時(shí)才能實(shí)現(xiàn)。由此可見(jiàn)，當(dāng)信道確定后，信道的信息傳輸率與信源分布是密切相關(guān)的。當(dāng)達(dá)到信道容量時(shí)，我們稱信源與信道達(dá)到匹配，否則認(rèn)為信道有剩余。信道剩余度定義為：信道剩余度=

4、相對(duì)信道剩余度=表示信道的信道容量和實(shí)際傳信率之差。相對(duì)信道剩余度可以用來(lái)衡量信道利用率的高低。在無(wú)損信道中，信道容量C＝logr(r是信道輸入符號(hào)數(shù))。而I(X;Y)＝H(X)，因而：無(wú)損信道的相對(duì)剩余度=上式說(shuō)明提高無(wú)損信道信息傳輸率就等于減少信源的剩余度。對(duì)于無(wú)損信道，可以通過(guò)信源編碼、減少信源的剩余度，使信息傳輸率達(dá)到信道容量。引入問(wèn)題：在一般通信系統(tǒng)中，如何將信源發(fā)出的消息(符號(hào))轉(zhuǎn)換成適合信道傳輸?shù)姆?hào)(信號(hào))從而達(dá)到信源與信道的匹配。[例]某離散無(wú)記憶信源通過(guò)一個(gè)無(wú)噪無(wú)損二元離散信道進(jìn)行傳輸。對(duì)二元離散信道的信道容量為：C＝1(比特／信道符號(hào))對(duì)本信源的信息熵為H(X)＝1.9

5、37(比特／信源符號(hào))要使信源在此二元信道中傳輸，必須對(duì)X進(jìn)行二元編碼：因此，必須通過(guò)合適的信源編碼，使信道的信息傳輸率接近或等于信道容量。?對(duì)于碼(比特／信道符號(hào))對(duì)于碼(比特／信道符號(hào))信道—信源編碼定理從香農(nóng)第一、第二定理可以看出，要做到有效和可靠的傳輸信息，我們可以將通信系統(tǒng)設(shè)計(jì)成兩部分的組合，即信源編碼和信道編碼兩部分，首先通過(guò)信源編碼，用盡可能少的信道符號(hào)來(lái)表達(dá)信源，盡可能減少編碼后信源的數(shù)據(jù)的剩余率，然后針對(duì)信道，對(duì)信源編碼后的數(shù)據(jù)獨(dú)立的進(jìn)行信道編碼，適當(dāng)增加一些剩余度，使能糾正和克服信道中引起的錯(cuò)誤和干擾。定理7.3（信息－傳輸定理）離散無(wú)記憶信源的S的信息率失真函數(shù)為R(D

6、)，離散無(wú)記憶信道的信道容量C，若滿足R(D)