第1章 信息論基礎(chǔ)new

《第1章 信息論基礎(chǔ)new》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、第1章信息論基礎(chǔ)第1章信息論基礎(chǔ)內(nèi)容提要信息論是應(yīng)用近代概率統(tǒng)計方法研究信息傳輸、交換、存儲和處理的一門學(xué)科，也是源于通信實踐發(fā)展起來的一門新興應(yīng)用科學(xué)。本章首先引出信息的概念，簡述信息傳輸系統(tǒng)模型的各個組成部分，進(jìn)而討論離散信源和離散信道的數(shù)學(xué)模型，簡單介紹幾種常見的離散信源和離散信道。1.1信息的概念消息是能被人們感覺器官感知的客觀物質(zhì)和主觀思維的運(yùn)動狀態(tài)或存在狀態(tài)。物質(zhì)、能量和信息是構(gòu)成客觀世界的三大要素。信息是物質(zhì)和能量在空間和時間上分布的不均勻程度，或者說信息是關(guān)于事物運(yùn)動的狀態(tài)和規(guī)律。信息論是研究信息的基本性質(zhì)及度量方法，研究信息的獲取、傳輸、存儲和處理的一般規(guī)律的科

2、學(xué)。通信系統(tǒng)中形式上傳輸?shù)氖窍?，實質(zhì)上傳輸?shù)氖切畔?，消息中包含信息，消息是信息的載體。對于信息論的研究，一般劃分為三個不同的范疇：廣義信息論，包括信息論在自然和社會中的新的應(yīng)用，如模式識別、機(jī)器翻譯、自學(xué)習(xí)自組織系統(tǒng)、心理學(xué)、生物學(xué)、經(jīng)濟(jì)學(xué)、社會學(xué)等一切與信息問題有關(guān)的領(lǐng)域。實用信息論，研究信息傳輸和處理問題，也就是狹義信息論方法在調(diào)制解調(diào)、編碼譯碼以及檢測理論等領(lǐng)域的應(yīng)用。狹義信息論，即通信的數(shù)學(xué)理論，主要研究狹義信息的度量方法，研究各種信源、信道的描述和信源、信道的編碼定理。1.2信息傳輸系統(tǒng)通信的基本問題是在彼時彼地精確地或近似地再現(xiàn)此時此地發(fā)出的消息。各種通信系統(tǒng)，一般

3、可概括為圖1.1所示的統(tǒng)計模型：干擾源信道信道譯碼器信道編碼器信源譯碼器信源編碼器信宿信源等效信源等效信宿等效無干擾信道圖1-1信息傳輸系統(tǒng)模型這個模型包括以下五個部分：3.信道信道是信息傳輸和存儲的媒介。4.譯碼器譯碼是編碼的逆變換，分為信道譯碼和信源譯碼。5.信宿信宿是消息的接收者。1.信源信源是產(chǎn)生消息的源。2.編碼器編碼器是將消息變成適合于信道傳送的信號的設(shè)備。編碼器信源編碼器，提高傳輸效率信道編碼器，提高傳輸可靠性1.3離散信源及其數(shù)學(xué)模型信源是產(chǎn)生消息的源，根據(jù)X的不同情況，信源可分為以下類型：根據(jù)信源的統(tǒng)計特性，離散信源又分為兩種：離散信源消息集X為離散集合。波形信

4、源時間和空間都連續(xù)的信源。連續(xù)信源時間離散而空間連續(xù)的信源。無記憶信源X的各時刻取值相互獨(dú)立。有記憶信源X的各時刻取值互相有關(guān)聯(lián)。1.3.1離散無記憶信源離散無記憶信源(DiscreteMemorylessSource，簡記為DMS)輸出的是單個符號的消息，不同時刻發(fā)出的符號之間彼此統(tǒng)計獨(dú)立，而且符號集中的符號數(shù)目是有限的或可數(shù)的。離散無記憶信源的數(shù)學(xué)模型為離散型的概率空間，即：q(xi)：信源輸出符號消息xi的先驗概率；滿足：0?q(xi)?1，1?i?k1.3.2離散無記憶的擴(kuò)展信源實際情況下，信源輸出的消息往往不是單個符號，而是由許多不同時刻發(fā)出的符號所組成的符號序列。設(shè)序

5、列由N個符號組成，若這N個符號取自同一符號集{a1,a2,…,ak}，并且先后發(fā)出的符號彼此間統(tǒng)計獨(dú)立，我們將這樣的信源稱作離散無記憶的N維擴(kuò)展信源。其數(shù)學(xué)模型為N維概率空間：x為各種長為N的符號序列，x=x1x2…xN，xi?{a1,a2,…,ak}，1?i?N，序列集X={a1a1…a1,a1a1…a2,…,akak…ak}，共有m=kN種序列，x?X。序列的概率q(x)=q(x1x2…xN)=1.3.3離散平穩(wěn)有記憶信源中、英文句子中前后出現(xiàn)的漢字、字母往往是有依賴的。這種依賴性我們稱作有記憶。用聯(lián)合概率空間{X,q(X)}來描述離散有記憶信源的輸出。信源在i時刻發(fā)出什么符

6、號與i時刻以前信源所發(fā)出的符號有關(guān)，即由條件概率p(xi?xi-1xi-2…)確定。如果該條件概率分布與時間起點(diǎn)無關(guān)，只與關(guān)聯(lián)長度有關(guān)，則該信源為平穩(wěn)信源。對于離散平穩(wěn)有記憶信源，有：p(x1=a1)=p(x2=a1)=…p(x2=a2?x1=a1)=p(x3=a2?x2=a1)=…p(x3?x2x1)=p(x4?x3x2)=…┇p(xi+L?xi+L-1xi+L-2…xi)=p(xj+L?xj+L-1xj+L-2…xj)=…┇隨機(jī)事件集X＝{x1，x2，…，xi，…，xI}，Y＝{y1，y2，…，yj，…，yJ}，1≤i≤I，1≤j≤J，將X，Y中的隨機(jī)事件xi，yj出現(xiàn)的概率

7、記為p(xi)，p(yj)稱為先驗概率/無條件概率。在XY二維空間上，將兩個事件xiyj同時出現(xiàn)的概率記為p(xiyj)稱為聯(lián)合概率。將X發(fā)生xi后，Y又發(fā)生yj的概率記為p(yj

8、xi)，將Y發(fā)生yj后，X又發(fā)生xi的概率記為p(xi

9、yj)稱為條件概率。復(fù)習(xí)概率論基礎(chǔ)知識無條件概率、條件概率和聯(lián)合概率應(yīng)滿足的一些性質(zhì)及關(guān)系X與Y相互獨(dú)立時：【例】系里有教師100人，其中男教師占40%，女教師占60%，老、中、青年齡段的教師分別是10人、20人和70人。男教師中老、中、青分別占