資源描述：
《無失真信源編碼及其定理課件.ppt》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。
1、第四章無失真信源編碼4.1編碼器及碼的分類4.2等長(zhǎng)碼4.4等長(zhǎng)信源編碼定理4.5變長(zhǎng)碼4.6變長(zhǎng)信源編碼定理4.7霍夫曼碼和其它編碼方法4.8幾種實(shí)用的無失真信源編碼小結(jié)第四章無失真信源編碼本章的重、難點(diǎn)內(nèi)容1、理解等長(zhǎng)碼和等長(zhǎng)信源編碼定理2、理解和掌握變長(zhǎng)碼及變長(zhǎng)碼編碼定理3、理解Huffman編碼、費(fèi)諾碼、香農(nóng)碼4、了解幾種實(shí)用的無失真信源編碼方法，包括（MH編碼、算術(shù)編碼、LZ碼）第四章無失真信源編碼編碼的意義：通信的基本問題：如何高速、高質(zhì)地傳送信息。高速和高質(zhì)＝魚和熊掌。編碼討論的問題：（1）質(zhì)量一定，如何提高信息傳輸速度（提高編碼效
2、率或壓縮比）----信源編碼（本章討論問題）（2）信道傳輸速度一定，如何提高信息傳輸質(zhì)量（抗干擾能力）----信道編碼（下一章討論）引言信源編碼：以提高通信有效性為目的的編碼。通常通過壓縮信源的冗余度來實(shí)現(xiàn)。采用的一般方法是壓縮每個(gè)信源符號(hào)的平均比特?cái)?shù)或信源的碼率。即同樣多的信息用較少的碼率傳送，使單位時(shí)間內(nèi)傳送的平均信息量增加，從而提高通信的有效性。引言信道編碼：是以提高信息傳輸?shù)目煽啃詾槟康牡木幋a。通常通過增加信源的冗余度來實(shí)現(xiàn)。采用的一般方法是增大碼率/帶寬。與信源編碼正好相反。密碼：是以提高通信系統(tǒng)的安全性為目的的編碼。通常通過加密和解密
3、來實(shí)現(xiàn)。從信息論的觀點(diǎn)出發(fā)，“加密”可視為增熵的過程，“解密”可視為減熵的過程。引言信源編碼理論是信息論的一個(gè)重要分支，其理論基礎(chǔ)是信源編碼的兩個(gè)定理。無失真信源編碼定理：是離散信源/數(shù)字信號(hào)編碼的基礎(chǔ)；限失真信源編碼定理：是連續(xù)信源/模擬信號(hào)編碼的基礎(chǔ)。引言信源編碼的分類：離散信源編碼、連續(xù)信源編碼和相關(guān)信源編碼三類。離散信源編碼：獨(dú)立信源編碼，可做到無失真編碼；連續(xù)信源編碼：獨(dú)立信源編碼，只能做到限失真信源編碼；相關(guān)信源編碼：非獨(dú)立信源編碼。4.1編碼器及碼的分類編碼：信息的組織方式編碼的實(shí)質(zhì)：對(duì)信源的原始符號(hào)按一定的數(shù)學(xué)規(guī)則進(jìn)行變換。編碼的
4、目的：信源編碼：提高信息傳輸?shù)挠行孕诺谰幋a：提高信息傳輸?shù)目煽啃员菊虏豢紤]干擾問題4.1編碼器及碼的分類無失真編碼器結(jié)構(gòu)框圖幾個(gè)術(shù)語：信源符號(hào)：信源輸入碼符號(hào)(碼元)：編碼器信源碼字符號(hào)集4.1編碼器及碼的分類碼字Wi：由xj(j=1,2,…,r)組成的長(zhǎng)度為li的序列，Wi與si一一對(duì)應(yīng)。碼字長(zhǎng)度(碼長(zhǎng))：Wi的長(zhǎng)度li編碼器：將信源符號(hào)si變換成Wi的設(shè)備信源編碼信源編碼：把信源符號(hào)si映射為碼字Wi的過程。無失真編碼：映射是一一對(duì)應(yīng)、可逆的。信源編碼基本思想：盡可能縮短出現(xiàn)概率大的信源符號(hào)的碼字4.1編碼器及碼的分類碼的分類二元碼：若碼符
5、號(hào)集X＝{0，1}，所得碼字為一些二元序列，則稱二元碼。[在二元信道中傳輸]等長(zhǎng)碼（固定長(zhǎng)度碼）：若一組碼中所有碼字的長(zhǎng)度都相同(即li=l,i=1,…,q)，則稱為等長(zhǎng)碼。變長(zhǎng)碼：不滿足等長(zhǎng)碼條件的碼組稱為變長(zhǎng)碼。4.1編碼器及碼的分類非奇異碼：若一組碼中所有碼字都不相同(即所有信源符號(hào)映射到不同的碼符號(hào)序列，不同信源符號(hào)可分辨)，則稱為非奇異碼。奇異碼：反之，若碼組中含有相同的碼字則為奇異碼。同價(jià)碼：若碼符號(hào)集X：{x1,x2,…,xr}中每個(gè)碼符號(hào)所占的傳輸時(shí)間都相同，則所得的碼為同價(jià)碼。4.1編碼器及碼的分類碼的N次擴(kuò)展碼：信源符號(hào)出現(xiàn)概
6、率碼1碼2s1P(s1)000s2P(s2)0101s3P(s3)10001s4P(s4)11111信源碼字信源碼字信源碼字a100＝W1W1=B1a5...010＝W2W1=B1.......a16....111111=W4W4=B16a2001＝W1W2=B2a30001＝W1W3=B3a40111＝W1W4=B44.1編碼器及碼的分類惟一可譯碼：若碼的任意一串有限長(zhǎng)的碼符號(hào)序列只能被惟一地譯成所對(duì)應(yīng)的信源符號(hào)序列，則此碼稱為惟一可譯碼（單義可譯碼）。否則就稱為非惟一可譯碼或非單義可譯碼。表1中碼1是惟一可譯碼，而碼2是非惟一可譯碼。因?yàn)閷?duì)于
7、碼2，其有限長(zhǎng)的碼符號(hào)序列能譯成不同的信源符號(hào)序列。如碼符號(hào)序列0010，可譯成s1s2s1或s3s1，就不惟一了。問題：怎樣才能做到無失真編碼即惟一可譯碼？4.2等長(zhǎng)碼若要實(shí)現(xiàn)無失真編碼，不但要求信源符號(hào)si與碼字Wi是一一對(duì)應(yīng)的，而且要求碼符號(hào)序列的反變換也是惟一的。即所編的碼必須是惟一可譯碼。對(duì)于等長(zhǎng)碼來說，若等長(zhǎng)碼是非奇異碼，則它的任意有限長(zhǎng)N次擴(kuò)展碼一定也是非奇異碼。等長(zhǎng)非奇異碼一定是惟一可譯碼。信源符號(hào)碼1碼2s10000s20111s31010s41111非奇異碼唯一可譯碼奇異碼非惟一可譯碼4.2等長(zhǎng)碼等長(zhǎng)編碼惟一可譯的必要條件：其
8、中：q為信源符號(hào)數(shù),r為符號(hào)集中的碼元數(shù),l為碼長(zhǎng)。例如：若信源符號(hào)數(shù)q＝4，進(jìn)行二元等長(zhǎng)編碼，則碼符號(hào)個(gè)數(shù)為r＝2。信源S存在惟一可譯
