資源描述：
《信息論基礎(chǔ)和信號分析NEW》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。
1、《數(shù)字通信原理》PrinciplesofDigitalCommunication中南大學(xué)信息科學(xué)與工程學(xué)院SchoolofInformationScienceandEngineeringCentralSouthUniversity主講：李敏聯(lián)系方式：limin@mail.csu.edu.cncsu.limin@gmail.com第二講信息論基礎(chǔ)和信號分析信息及其度量信道容量確知信號分析隨機信號分析§1信息論的出現(xiàn)信息論是一門主要研究信息的傳輸和處理，并提出或探討其普遍性或規(guī)律性的科學(xué)。二次大戰(zhàn)后，維納(Wiener)提出的“控制論
2、”和香農(nóng)(Shannon)提出的信息論，是現(xiàn)化科學(xué)工程的里程碑。早在本世紀(jì)20年代，奈奎斯特(Nyguist)和哈特萊(Hartley)，最早研究了通信系統(tǒng)傳輸信息的能力，并試圖度量系統(tǒng)的信息容量。1948年香農(nóng)發(fā)表討論信源和信道特性的《通信的數(shù)學(xué)原理》(AMathmaticalTheoryofCommunication)，次年發(fā)表有關(guān)通信中噪聲處理的兩篇權(quán)威性論文，奠定了現(xiàn)代信息論的基礎(chǔ)。信息及其度量信息的定義信息可理解為消息中包含的有意義的內(nèi)容。不同的消息可以包含相同的信息，如，分別用語言和文字發(fā)送的天氣預(yù)報，所含信息內(nèi)容相同
3、。信息的度量傳輸信息的多少用“信息量”去衡量。對接收者來說，事件越不可能發(fā)生，信息量就越大；即信息量反映事件的不確定性。信息量的計算由概率論可知，事件的不確定性可以用其出現(xiàn)的概率來描述。因此消息中所含的信息量I與消息出現(xiàn)的概率P(x)間的關(guān)系式應(yīng)反映如下規(guī)律：消息中所含的信息量I是出現(xiàn)該消息的概率P(x)的函數(shù)：I=P(x)消息的出現(xiàn)概率越小，它所含的信息量愈大；反之信息量愈小，且當(dāng)P(x)=1時，I=0。若干個相互獨立事件構(gòu)成的消息，所含的信息量等于各獨立事件信息量的和，即：I[p(x1)p(x2)p(x3)…]=I[p(x1)
4、]+I[p(x2)]+I[p(x3)]+…不難看出，若I與p(x)間的關(guān)系式為：I=loga1/p(x)=-logap(x)就可滿足上述要求。信息量的單位的確定取決于上式中對數(shù)底a的確定：哈特萊（Hartley）10奈特（nit）e比特（bit）2單位a值換算公式1nit=1.44bit1Hartley=3.22bit/當(dāng)消息是由幾個符號組成的離散信源時，整個消息信息量的計算公式為：其中：n：表示符號數(shù)；Ni：第i個符號在消息中出現(xiàn)的次數(shù)；p(xi)：第i個符號xi在消息中出現(xiàn)的概率，且（各符號的出現(xiàn)互相統(tǒng)計獨立）例題例1：設(shè)英文
5、字母E出現(xiàn)的概率為1/3，X出現(xiàn)的概率為2/3，求出現(xiàn)E和X的信息量分別是多少？例2：某離散信源由0，1，2，3四種符號組成，其概率分別為3/8,1/4,1/4,1/8。求消息201020130213001203210100321010023102002010312032100120210的信息量。等概率出現(xiàn)的離散消息的度量：若要傳遞的離散消息是在M個獨立等概的消息中的一個，則只需采用一個M進(jìn)制的波形來傳送。即傳送M個消息之一者與傳送M進(jìn)制波形之一完全等價的。規(guī)定：傳送兩個等概的二進(jìn)制波形之一的信息量為1，單位為“比特”。即：I=
6、log21/(1/2)=log22=1(bit)只要在接收者看來每一傳送波形是獨立等概出現(xiàn)的,則一個波形所傳遞的信息量為:I=log21/P(bit)其中，P---每一波形出現(xiàn)的概率因P=1/M，上式又可以寫做：I=log2M(bit)其中，M---傳送的波形數(shù)平均信息量的計算非等概出現(xiàn)的離散消息的度量符號集：組成離散信息源的n個符號xi組成的集合每個符號xi在消息中是按一定概率P(xi)獨立出現(xiàn)的，設(shè)符號集中各符號出現(xiàn)的概率：其中則x1、x2、…、xn所包含的信息量分別為-log2P(x1)、-log2P(x2)、…、-log2
7、P(xn)。于是，每個符號所含信息量的統(tǒng)計平均值，即平均信息量為其中稱H(x)為信息源的熵，其單位為bit/符號例題例3：設(shè)有A、B、C、D四個消息分別以概率1/4、1/8、1/8、1/2傳送，假設(shè)它們的出現(xiàn)相互獨立，試求消息熵。例4：試求二元離散信源的Hmax，并證明其正確性。例5：黑白電視機的圖象每秒傳輸25幀，每幀有625行；屏幕的寬度與高度之比為4：3。設(shè)圖象的每個像素的亮度有10個電平，各像素的亮度相互獨立，且等概出現(xiàn)，求電視圖像給觀眾的平均信息速率。連續(xù)消息的信息量的度量連續(xù)消息的信息量可用概率密度來描述連續(xù)消息的平均
8、信息量（相對熵）為式中f(x)---連續(xù)消息出現(xiàn)的概率密度§2信道容量定義：指信道在單位時間內(nèi)所能傳送的最大信息量。模擬信道的信道容量Shannon定律：在信號平均功率受限的高斯白噪聲信道中，信道的極限信息傳輸速率（信道容量）為其中，B為信道帶寬，
