資源描述：
《信源編碼--離散信源無失真編碼概述.ppt》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在PPT專區(qū)-天天文庫。
1、第三章：信源編碼（一） 離散信源無失真編碼§3.1信源及其分類§3.2離散無記憶（簡單）信源的等長編碼§3.3離散無記憶（簡單）信源的不等長編碼§3.4最佳不等長編碼§3.5算術(shù)編碼和LZ編碼2021/10/41§3.1信源及其分類信源的概念（直觀地理解，信源就是信息的來源。但是這里必須要注意兩點(diǎn)）：在一個(gè)固定的時(shí)刻，信源發(fā)出的是一個(gè)隨機(jī)變量。隨著時(shí)間的延續(xù)，信源發(fā)出的是一個(gè)隨機(jī)過程。（因此，一般的信源種類太多，其統(tǒng)計(jì)性質(zhì)太復(fù)雜。怎樣做工程實(shí)用的簡化？）2021/10/42§3.1信源及其分類離散信源信源每隔一個(gè)定長時(shí)間段就發(fā)出一個(gè)隨機(jī)變量；隨著時(shí)
2、間的延續(xù)，信源發(fā)出的是隨機(jī)變量序列…U-2U-1U0U1U2…，其中Uk為第k個(gè)時(shí)間段發(fā)出的隨機(jī)變量；每個(gè)Uk都是一個(gè)離散型的隨機(jī)變量。離散無記憶信源離散無記憶信源是這樣的離散信源：隨機(jī)變量…、U-2、U-1、U0、U1、U2、…相互獨(dú)立。離散無記憶簡單信源離散無記憶簡單信源是這樣的離散無記憶信源：隨機(jī)變量…、U-2、U-1、U0、U1、U2、…具有相同的概率分布。2021/10/43§3.1信源及其分類（總結(jié)：離散無記憶簡單信源就是時(shí)間離散、事件離散、各隨機(jī)變量獨(dú)立同分布的信源。課程學(xué)習(xí)所面對的信源將主要是離散無記憶簡單信源）一般的信源連續(xù)信源：
3、有時(shí)間連續(xù)的信源，也有事件連續(xù)的信源；有記憶信源：信源在不同時(shí)刻發(fā)出的隨機(jī)變量相互依賴；有限記憶信源：在有限時(shí)間差內(nèi)的信源隨機(jī)變量相互依賴；非簡單信源：信源在不同時(shí)刻發(fā)出的隨機(jī)變量具有不同的概率分布。馬爾可夫信源：信源隨機(jī)過程是馬爾可夫過程。2021/10/44§3.2離散無記憶（簡單）信源的等長編碼（順序地?cái)⑹鲆韵碌母拍睿?）設(shè)有一個(gè)離散無記憶簡單信源，信源發(fā)出的隨機(jī)變量序列為：…U-2U-1U0U1U2…。設(shè)信源隨機(jī)變量U1的事件有K個(gè)：{a1,a2,…,aK}，則L維信源隨機(jī)向量(U1U2…UL)的事件有KL個(gè)：{(u1u2…uL)
4、其中每
5、個(gè)分量ul跑遍{a1,a2,…,aK}}。（2）設(shè)有一個(gè)含D個(gè)字母的字母表{b1,b2,…,bD}。需要用字母串來表示(U1U2…UL)的事件，每一個(gè)事件都要用一個(gè)字母串來表示。這種表示方法稱為D元編碼；每一個(gè)事件所對應(yīng)的字母串稱為一個(gè)碼字。2021/10/45§3.2離散無記憶（簡單）信源的等長編碼例：離散無記憶簡單信源發(fā)出的隨機(jī)變量序列為：…U-2U-1U0U1U2…。其中U1的事件有3個(gè)：{晴,云,陰}。(U1U2)有9個(gè)事件{（晴晴），（晴云），（晴陰），（云晴），（云云），（云陰），（陰晴），（陰云），（陰陰）}。用字母表{0,1}對(U
6、1U2)的事件進(jìn)行2元編碼如下：（晴晴）→0000，（晴云）→0001，（晴陰）→0011，（云晴）→0100，（云云）→0101，（云陰）→0111，（陰晴）→1100，（陰云）→1101，（陰陰）→1111。2021/10/46§3.2離散無記憶（簡單）信源的等長編碼（3）如果限定碼字的長度為N（即每個(gè)碼字都是一個(gè)N維向量），則稱此編碼為等長編碼，能夠選擇的不同碼字的個(gè)數(shù)為DN。（4）如果限定碼字的長度為≤N（即每個(gè)碼字都是一個(gè)≤N維的向量），則稱此編碼為不等長編碼，能夠選擇的不同碼字的個(gè)數(shù)為D1+D2+…+DN=D(DN-1)/(D-1)。（
7、注意：在不等長編碼中，并不能同時(shí)使用D(DN-1)/(D-1)個(gè)不同的碼字。一個(gè)長度為2的字母串究竟是兩個(gè)長度為1的碼字相連，還是一個(gè)長度為2的碼字？無法識(shí)別。在等長編碼中不存在這樣的識(shí)別問題）2021/10/47§3.2離散無記憶（簡單）信源的等長編碼（本節(jié)以下將專門討論等長編碼）（5）編碼速率R=NlogD/L。（6）無錯(cuò)編碼(U1U2…UL)的不同事件用不同的碼字來表示。能夠?qū)崿F(xiàn)無錯(cuò)編碼的充要條件是DN≥KL。（即編碼速率R=NlogD/L≥logK）（7）有錯(cuò)編碼(U1U2…UL)的有些不同事件用相同的碼字來表示。（8）有錯(cuò)編碼的譯碼方法與
8、“譯碼錯(cuò)誤”概率當(dāng)使用有錯(cuò)編碼時(shí)，必須給出譯碼方法（一個(gè)碼字究竟翻譯成哪個(gè)事件）?！白g碼錯(cuò)誤”的概率定義為pe=P{(U1U2…UL)=(u1u2…uL)
9、(u1u2…uL)的碼字在譯碼時(shí)并不譯為(u1u2…uL)}。2021/10/48§3.2離散無記憶（簡單）信源的等長編碼（關(guān)于編碼速率的說明：編碼速率本來是編碼設(shè)備的性能指標(biāo)。這就是說，首先有了編碼設(shè)備的編碼速率R0，然后選擇N和L，使得實(shí)際的編碼速率NlogD/L不能超過編碼設(shè)備的編碼速率R0：R=NlogD/L≤R0。當(dāng)編碼速率R比較高時(shí)，可以選擇比較大的N，因此可供選擇的碼字比較多，因此
10、更容易設(shè)計(jì)出能夠快速識(shí)別的碼，降低譯碼的難度。當(dāng)編碼速率R比較低時(shí)，意味著使用低成本的編碼設(shè)備。此時(shí)只能選擇不大的N，因此
