香農(nóng)三大定理課件.ppt

《香農(nóng)三大定理課件.ppt》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、信息論與編碼基礎(chǔ)香農(nóng)三大定理簡(jiǎn)介一、香農(nóng)第一定理二、香農(nóng)第二定理三、香農(nóng)第三定理無(wú)失真信源編碼有噪離散信道編碼保真度準(zhǔn)則下的信源編碼信息論與編碼基礎(chǔ)香農(nóng)三大定理簡(jiǎn)介一、香農(nóng)第一定理二、香農(nóng)第二定理三、香農(nóng)第三定理信息論與編碼基礎(chǔ)香農(nóng)三大定理簡(jiǎn)介1、信源編碼器a、模型編碼器單符號(hào)信源無(wú)失真編碼器碼符號(hào)碼字碼長(zhǎng)信息論與編碼基礎(chǔ)香農(nóng)三大定理簡(jiǎn)介N次擴(kuò)展信源無(wú)失真編碼器編碼器1、信源編碼器a、模型信息論與編碼基礎(chǔ)香農(nóng)三大定理簡(jiǎn)介b、舉例1）ASCII信源編碼器1、信源編碼器ASCII編碼器{英文字母/符號(hào)/命令}二進(jìn)代碼碼符號(hào)集{0，1}信息論與編碼基礎(chǔ)香農(nóng)三大定理簡(jiǎn)介1、

2、信源編碼器信源編碼器I{A,B,…,Z}二進(jìn)符號(hào)碼符號(hào)集{0，1}信源編碼器II碼符號(hào)集{點(diǎn)/劃/字母間隔/單詞間隔}2）摩爾斯電碼b、舉例2）摩爾斯信源編碼器b、舉例符號(hào)電平二進(jìn)代碼點(diǎn)劃字母間隔單詞間隔+—+++——————————101110000000000信息論與編碼基礎(chǔ)香農(nóng)三大定理簡(jiǎn)介3）中文電報(bào)信源編碼器“中”“0022”“01101011011100111001”1、信源編碼器b、舉例信息論與編碼基礎(chǔ)香農(nóng)三大定理簡(jiǎn)介c、分類等長(zhǎng)碼變長(zhǎng)碼中文電報(bào)莫爾斯電碼有失真編碼無(wú)失真編碼I(S;C)

3、意一串有限長(zhǎng)的符號(hào)序列只能被惟一地譯成所對(duì)應(yīng)的信源符號(hào)。1、信源編碼器信息論與編碼基礎(chǔ)香農(nóng)三大定理簡(jiǎn)介d、指標(biāo)1)平均碼長(zhǎng)code/signcode/N-sign1、信源編碼器信息論與編碼基礎(chǔ)香農(nóng)三大定理簡(jiǎn)介2)編碼后的信息傳輸率bit/codebit/coded、指標(biāo)1、信源編碼器信息論與編碼基礎(chǔ)香農(nóng)三大定理簡(jiǎn)介3)編碼效率d、指標(biāo)1、信源編碼器信息論與編碼基礎(chǔ)香農(nóng)三大定理簡(jiǎn)介例：二元DMS進(jìn)行無(wú)失真編碼H(S)=H(3/4,1/4)=0.811(bit/sign)N=1(code/sign)(bit/code)信息論與編碼基礎(chǔ)香農(nóng)三大定理簡(jiǎn)介例：二元DMS進(jìn)行無(wú)

4、失真編碼H(S)=H(3/4,1/4)=0.811(bit/sign)N=2{0,10,110,111}(code/2-sign)(bit/code)信息論與編碼基礎(chǔ)香農(nóng)三大定理簡(jiǎn)介例：二元DMS進(jìn)行無(wú)失真編碼H(S)=H(3/4,1/4)=0.811(bit/sign)N=3(bit/code)N=4(bit/code)隨著N的增加，平均碼長(zhǎng)減小，有效性逐步提高；當(dāng)N趨于無(wú)窮時(shí)，平均碼長(zhǎng)可以無(wú)限制地減小嗎？信息論與編碼基礎(chǔ)香農(nóng)三大定理簡(jiǎn)介2、香農(nóng)第一定理（可變長(zhǎng)無(wú)失真信源編碼定理）定理4.1設(shè)為q元離散無(wú)記憶信源S的N次擴(kuò)展信源，若對(duì)進(jìn)行編碼，碼符號(hào)集，則總可以找

5、到一種編碼方法構(gòu)成惟一可譯碼，使信源S中每個(gè)符號(hào)所需的平均編碼長(zhǎng)度滿足：且當(dāng)時(shí)有：信息論與編碼基礎(chǔ)香農(nóng)三大定理簡(jiǎn)介表述二：若R?>H(S)，就存在惟一可譯變長(zhǎng)編碼；若R?

6、是一個(gè)存在性定理，沒有給出更有效的信源編碼的實(shí)現(xiàn)方法。2、香農(nóng)第一定理（可變長(zhǎng)無(wú)失真信源編碼定理）信息論與編碼基礎(chǔ)香農(nóng)三大定理簡(jiǎn)介總結(jié)：信源編碼器模型性能指標(biāo)香農(nóng)第一定理（無(wú)失真信源編碼定理）平均碼長(zhǎng)、信息傳輸率、編碼效率0123456701234567YtYt+1a(t)={101001011000001100111011}b={001242425124366675013666}信息論與編碼基礎(chǔ)香農(nóng)三大定理簡(jiǎn)介一、香農(nóng)第一定理二、香農(nóng)第二定理三、香農(nóng)第三定理有效性可靠性矛盾X信息論與編碼基礎(chǔ)香農(nóng)三大定理簡(jiǎn)介1、錯(cuò)誤概率誤碼率誤字率1-ppp1-pa1=0p(a1)

7、=ωa2=1p(a2)=1-ωb1=0b2=1p=0.01PE=P(a1)P(b2

8、a1)+P(a2)P(b1

9、a2)=ωp+(1-ω)p=0.01錯(cuò)誤概率與那些因素相關(guān)？信息論與編碼基礎(chǔ)香農(nóng)三大定理簡(jiǎn)介2、常用判決準(zhǔn)則a、MAP準(zhǔn)則（MaximumaPosteriori）對(duì)于所有的信息論與編碼基礎(chǔ)香農(nóng)三大定理簡(jiǎn)介b、ML準(zhǔn)則（MaximumLikelihood）若輸入符號(hào)等概時(shí)似然比2、常用判決準(zhǔn)則a、MAP準(zhǔn)則（MaximumaPosteriori）信息論與編碼基礎(chǔ)香農(nóng)三大定理簡(jiǎn)介例1重復(fù)編碼BSC的三次擴(kuò)展信道(n,1)信息論與編碼基礎(chǔ)香農(nóng)三大定理簡(jiǎn)介n=