信息論與編碼技術(shù)new

《信息論與編碼技術(shù)new》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、Chap1思考題與習(xí)題參考答案1.1信息論與編碼技術(shù)研究的主要內(nèi)容是什么？信息論是一門(mén)應(yīng)用概率論、隨機(jī)過(guò)程、數(shù)理統(tǒng)計(jì)和近代代數(shù)的方法，來(lái)研究廣義的信息傳輸、提取和處理系統(tǒng)中一般學(xué)科。編碼技術(shù)研究的主要內(nèi)容是如何既可靠又有效地傳輸信息。1.2簡(jiǎn)述信息理論與編碼技術(shù)的發(fā)展簡(jiǎn)史。1948年香農(nóng)在貝爾系統(tǒng)技術(shù)雜志上發(fā)表了兩篇有關(guān)“通信的數(shù)學(xué)理論”的文章。在這兩篇論文中，他用概率論測(cè)度和數(shù)理統(tǒng)計(jì)的方法系統(tǒng)地討論了通信的基本問(wèn)題，得出了及格重要而帶有普遍意義的結(jié)論，并由此奠定了現(xiàn)代信息論的基礎(chǔ)。從1948年開(kāi)始，信息論的出現(xiàn)引起了一些有名的數(shù)學(xué)家如柯?tīng)柭?/p>

2、夫、A.Feinstein、J.Wolfowitz等人的興趣，他們將香農(nóng)已得到的數(shù)學(xué)結(jié)論做了進(jìn)一步的嚴(yán)格論證和推廣，使這一理論具有更為堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ)。在研究香農(nóng)信源編碼定理的同時(shí)，另外一部分科學(xué)家從事尋找最佳編碼（糾錯(cuò)碼）的研究工作，并形成一門(mén)獨(dú)立的分支——糾錯(cuò)碼理論。1959年香農(nóng)發(fā)表了“保真度準(zhǔn)則下的離散信源編碼定理”，首先提出了率失真函數(shù)及率失真信源編碼定理。從此，發(fā)展成為信息率失真編碼理論。香農(nóng)1961年的論文“雙路通信信道”開(kāi)拓了網(wǎng)絡(luò)信息論的研究。現(xiàn)在，信息理論不僅在通信、計(jì)算機(jī)以及自動(dòng)控制等電子學(xué)領(lǐng)域中得到直接的應(yīng)用，而且還廣泛地

3、滲透到生物學(xué)、醫(yī)學(xué)、生理學(xué)、語(yǔ)言學(xué)、社會(huì)學(xué)、和經(jīng)濟(jì)學(xué)等領(lǐng)域。1.3簡(jiǎn)述信息與消息、信號(hào)的定義以及三者之間的關(guān)系。信息就是事物運(yùn)動(dòng)的狀態(tài)和方式，就是關(guān)于事物運(yùn)動(dòng)的千差萬(wàn)別的狀態(tài)和方式的知識(shí)。用文字、符號(hào)、數(shù)據(jù)、語(yǔ)言、音符、圖像等能夠被人們感覺(jué)器官所感知的形式，把客觀物質(zhì)運(yùn)動(dòng)和主觀思維活動(dòng)的狀態(tài)表達(dá)出來(lái)成為消息。把消息變換成適合信道傳輸?shù)奈锢砹浚@種物理量稱(chēng)為信號(hào)。它們之間的關(guān)系是：消息中包含信息，是信息的載體；信號(hào)攜帶消息，是消息的運(yùn)載工具。1.4簡(jiǎn)述一個(gè)通信系統(tǒng)包括的各主要功能模塊及其作用。通信系統(tǒng)主要分成下列五個(gè)部分：（1）信息源。信源是產(chǎn)

4、生消息和消息序列的源。（2）編碼器。編碼是把消息變換成信號(hào)的措施。（3）信道。信道是指通信系統(tǒng)把載荷消息的信號(hào)從甲地傳到乙地的媒介。（4）譯碼器。譯碼就是把信道輸出的編碼信號(hào)（已疊加了干擾）進(jìn)行反變換。（5）信宿。信宿是消息傳送的對(duì)象，即接收消息的人或機(jī)器。1.5你有沒(méi)有接觸與考慮過(guò)信息與信息的測(cè)度問(wèn)題，你如何理解這些問(wèn)題？略。1.6什么是事物的不確定性？不確定性如何與信息的測(cè)度發(fā)生關(guān)系？由于主、客觀事物運(yùn)動(dòng)狀態(tài)或存在狀態(tài)是千變?nèi)f化的、不規(guī)則的、隨機(jī)的。所以在通信以前，收信者存在“疑義”和“不知”，即不確定性。用數(shù)學(xué)的語(yǔ)言來(lái)講，不確定就是隨機(jī)

5、性，具有不確定性的事件就是隨機(jī)事件。因此，可運(yùn)用研究隨機(jī)事件的數(shù)學(xué)工具——概率論和隨機(jī)過(guò)程來(lái)測(cè)度不確定性的大小。1.7試從你的實(shí)際生活中列舉出三種不同類(lèi)型的通信系統(tǒng)模型，并說(shuō)明它們的信源、信道結(jié)構(gòu)，寫(xiě)出它們的消息字母表、輸入與輸出字母表及它們的概率分布與條件概率分布。略。1.8在你日常生活中出現(xiàn)過(guò)哪些編碼問(wèn)題？能否用編碼函數(shù)給以描述？略。Chap2思考題與習(xí)題參考答案2.1同時(shí)扔一對(duì)均勻的骰子，當(dāng)?shù)弥皟慎蛔用娉宵c(diǎn)數(shù)之和為2”或“兩骰子面朝上點(diǎn)數(shù)之和為8”或“兩骰子面朝上點(diǎn)數(shù)是3和4”時(shí)，試問(wèn)這三種情況分別獲得多少信息量？解：同時(shí)扔一對(duì)均勻

6、的骰子，可能呈現(xiàn)的狀態(tài)數(shù)有36種，各面呈現(xiàn)的概率為1/6，所以36種中任何一種狀態(tài)出現(xiàn)的概率都是相等，為1/36。（1）設(shè)“兩骰子面朝上點(diǎn)數(shù)之和為2”為事件A。在36種情況中，只有一種情況，即1+1。則PA()1/36=IA()=?log()PA=log36≈5.17(比特)2（2）設(shè)“兩骰子面朝上點(diǎn)數(shù)之和為8”為事件B。在36種情況中，有六種情況，即5+3，3+5，2+6，6+2，4+4。PB()5/36=則36IB()=?log()PB=log≈2.85(比特)25（3）設(shè)“兩骰子面朝上點(diǎn)數(shù)是3和4”為事件C。在36種情況中，有兩種情況，

7、即3+4和4+3。PC()2/36=則IC()=?log()PC=log18≈4.17(比特)22.2同時(shí)擲兩個(gè)均勻的骰子，也就是各面呈現(xiàn)的概率都是1/6，求：(1)事件“3和5同時(shí)出現(xiàn)”的自信息量；(2)事件“兩個(gè)l同時(shí)出現(xiàn)”的自信息量；(3)兩個(gè)點(diǎn)數(shù)之和(即2，3，?，12構(gòu)成的子集)的熵；(4)事件“兩個(gè)骰子點(diǎn)數(shù)中至少有一個(gè)是1”的自信息量。解：同時(shí)擲兩個(gè)均勻的骰子，也就是各面呈現(xiàn)的概率都是1/6，總共有36種可能的狀態(tài)，每種狀態(tài)出現(xiàn)的概率都是1/36。（1）設(shè)“3和5同時(shí)出現(xiàn)”為事件A。則在36種狀態(tài)中，有兩種可能的情況，即5+3和3

8、+5。則PA()2/36=IA()=?log()PA=log18≈4.17(比特)2（2）設(shè)“兩個(gè)l同時(shí)出現(xiàn)”為事件B。則在36種狀態(tài)中，只有一種可能情況，即1+1