信息論與編碼第3章信道與信道容量課件.ppt

《信息論與編碼第3章信道與信道容量課件.ppt》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、第3章信道與信道容量信道分類和表示參數(shù)離散單個符號信道及其容量離散序列信道及其容量連續(xù)信道及其容量1普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》3.1信道分類和表示參數(shù)信道分類用戶數(shù)量：單用戶、多用戶輸入端和輸出端關(guān)系：無反饋、有反饋信道參數(shù)與時間的關(guān)系：固參、時變參噪聲種類：隨機差錯、突發(fā)差錯輸入輸出特點：離散、連續(xù)、半離散半連續(xù)、波形信道2普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》3.1信道分類和表示參數(shù)信道參數(shù)信道種類3普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》3.1信道分類和表示參

2、數(shù)二進制對稱信道（BSC）4普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》3.1信道分類和表示參數(shù)離散無記憶信道5普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》3.1信道分類和表示參數(shù)離散輸入、連續(xù)輸出信道6普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》3.1信道分類和表示參數(shù)波形信道7普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》3.2離散單個符號信道及其容量信息傳輸率信道在單位時間內(nèi)平均傳輸?shù)男畔⒘慷x為信息傳輸速率R=I(X;Y)=H(X)－H(X/Y)比特/符號Rt=I(X;Y)/t比特

3、/秒信道容量比特/符號（bits/symbol或bits/channeluse）8普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》3.2離散單個符號信道及其容量無干擾離散信道的信道容量9普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》3.2離散單個符號信道及其容量X、Y一一對應(yīng)C＝maxI(X;Y)＝logn多個輸入變成一個輸出C＝maxI(X;Y)＝maxH(Y)一個輸入對應(yīng)多個輸出C＝maxI(X;Y)＝maxH(X)10普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》3.2離散單個符號信道及其容量對

4、稱DMC信道定義輸入對稱如果轉(zhuǎn)移概率矩陣P的每一行都是第一行的置換(包含同樣元素)，稱該矩陣是輸入對稱輸出對稱如果轉(zhuǎn)移概率矩陣P的每一列都是第一列的置換(包含同樣元素)，稱該矩陣是輸出對稱對稱的DMC信道如果輸入、輸出都對稱11普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》3.2離散單個符號信道及其容量對稱DMC信道例子12普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》3.2離散單個符號信道及其容量輸入對稱輸出對稱13普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》3.2離散單個符號信道及其容量對稱信

5、道容量14普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》3.2離散單個符號信道及其容量Eg.求信道容量15普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》3.2離散單個符號信道及其容量Eg.求信道容量信道輸入符號和輸出符號的個數(shù)相同，都為n，且正確的傳輸概率為1－?，錯誤概率?被對稱地均分給n-1個輸出符號，此信道稱為強對稱信道或均勻信道，是對稱離散信道的一個特例16普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》3.2離散單個符號信道及其容量二進制對稱信道容量C＝1－H（?）17普通高等教育“十五”國

6、家級規(guī)劃教材《信息論與編碼》3.2離散單個符號信道及其容量串聯(lián)信道C(1,2)=maxI(X;Z)，C(1,2,3)=maxI(X;W)…18普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》3.2離散單個符號信道及其容量Eg.設(shè)有兩個離散BSC信道串接，兩個BSC信道的轉(zhuǎn)移矩陣如下，求信道容量19普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》3.2離散單個符號信道及其容量信道容量I(X;Y)=1-H(?)，I(X;Z)=1-H[2?(1-?)]20普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》3.2離

7、散單個符號信道及其容量準對稱DMC信道如果轉(zhuǎn)移概率矩陣P是輸入對稱而輸出不對稱，即轉(zhuǎn)移概率矩陣P的每一行都包含同樣的元素而各列的元素可以不同，則稱該信道是準對稱DMC信道21普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》3.2離散單個符號信道及其容量準對稱DMC信道容量對于準對稱DMC信道，當(dāng)輸入分布為等概分布時，互信息達到最大值，即為信道容量22普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》3.2離散單個符號信道及其容量Eg.求信道容量方法一：信道的輸入符號有兩個，可設(shè)p(a1)＝?，p(a2)＝1－

8、?信道的輸出符號有三個，用b1、b2、b3表示23普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》3.2離散單個符號信道及其容量方法二當(dāng)p(a1)＝p(a2)＝1/2時，p(b1)＝p(b2)＝(1-0.2)/2＝0.4C=H(Y)-H(Y/X)=0.036bit/符號方法三將轉(zhuǎn)移概率矩陣劃分成若干個互不相交的對稱的子集n為輸入符號集個數(shù)；p1’，p2’，…ps’是轉(zhuǎn)移概率矩陣P中一