離散無記憶的擴(kuò)展信源.ppt

《離散無記憶的擴(kuò)展信源.ppt》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、2.4離散無記憶的擴(kuò)展信源2.4.1單符號(hào)離散無記憶信源信源的符號(hào)集，每個(gè)符號(hào)的發(fā)生概率為，信源每次發(fā)出一個(gè)符號(hào)，且符號(hào)發(fā)生的概率相互獨(dú)立，稱為單符號(hào)離散無記憶信源，簡(jiǎn)稱離散無記憶信源。2.4離散無記憶的擴(kuò)展信源2.4.2離散無記憶信源的擴(kuò)展信源1、離散無記憶二進(jìn)制信源的二次擴(kuò)展信源二次擴(kuò)展信源擴(kuò)展后的信源符號(hào)集合新概率的計(jì)算舉例：2.4離散無記憶的擴(kuò)展信源2、離散無記憶二進(jìn)制信源的三次擴(kuò)展信源三次擴(kuò)展信源擴(kuò)展后的信源符號(hào)集合新概率的計(jì)算舉例:2.4離散無記憶的擴(kuò)展信源3、任意進(jìn)制離散無記憶信源的N次擴(kuò)展信源其中：N次擴(kuò)展信源2.4離散無記憶的擴(kuò)

2、展信源4、離散無記憶信源X的N次擴(kuò)展信源設(shè)離散無記憶信源，其樣本空間為，用一組長(zhǎng)度為的序列表示其輸出消息序列。此時(shí)，將輸出序列等效為一個(gè)新的信源，用維離散隨機(jī)矢量來描述，記作，則稱組成的新信源為離散無記憶信源的次擴(kuò)展信源。其中，每個(gè)分量都是隨機(jī)變量，它們都取決于同一信源，并且分量之間統(tǒng)計(jì)獨(dú)立。用重空間描述離散無記憶信源的次擴(kuò)展信源，記為。2.4離散無記憶的擴(kuò)展信源設(shè)一個(gè)離散無記憶信源的概率空間為:則信源X的N次擴(kuò)展信源XN是具有qN個(gè)符號(hào)的離散信源，其中N重概率空間為上式中，每個(gè)符號(hào)是對(duì)應(yīng)于某一個(gè)由N個(gè)組成的序列。的概率是對(duì)應(yīng)N個(gè)組成的序列概率。

3、2.4離散無記憶的擴(kuò)展信源因?yàn)槭菬o記憶的（彼此統(tǒng)計(jì)獨(dú)立），若則其中又而2.4離散無記憶的擴(kuò)展信源上式表明離散無記憶信源的次擴(kuò)展信源的概率空間也是完備集。根據(jù)信息熵的定義，次擴(kuò)展信源熵可以證明離散無記憶信源的次擴(kuò)展信源的熵等于信源的熵值的倍，即：2.4離散無記憶的擴(kuò)展信源證明:設(shè)是概率空間的一個(gè)符號(hào)，對(duì)應(yīng)于由N個(gè)組成的序列2.4離散無記憶的擴(kuò)展信源因?yàn)椋核裕汗剩合瓤疾炱渲幸豁?xiàng)2.4離散無記憶的擴(kuò)展信源例2.6求離散無記憶信源的二次擴(kuò)展信源及其熵。解：二次擴(kuò)展信源的概率空間為X2?1?2?3?4?5?6?7?8?9序列a1a1a1a2a1a3a2a

4、1a2a2a2a3a3a1a3a2a3a3P(?i)1/41/81/81/81/161/161/81/161/162.4離散無記憶的擴(kuò)展信源上式可直觀的理解，擴(kuò)展信源的每一個(gè)輸出符號(hào)是由個(gè)組成的序列，且序列中前后符號(hào)是統(tǒng)計(jì)獨(dú)立現(xiàn)已知每個(gè)信源符號(hào)含有的平均自信息量為，則個(gè)組成的平穩(wěn)無記憶序列平均含有的自信息量為，所以信源每個(gè)輸出符號(hào)含有的平均自信息量為。