資源描述：
《信息論基礎(chǔ)第2章new》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。
1、信息理論與技術(shù)教研中心ITTC信無失真信源與息論基信息熵基礎(chǔ)講義賀志強(qiáng)第二章無失真信源與信息熵信息論基講授思路1）按照“概念、描述、度量、分析、計(jì)算”10字方針逐步深入礎(chǔ)。講2）講授步驟按照義離散單個(gè)消息→離散消息序列↓↑離散化(縱向)連續(xù)單個(gè)消息→連續(xù)消息序列賀志強(qiáng)↑離散化(橫向)連續(xù)消息過程(模擬)重點(diǎn)熵H(U)—無失真單消息信源的度量值；概念、分析、度量與計(jì)算互信息I(U;V)—單消息信宿的度量值；概念、分析、度量與計(jì)算2§2-1信源特性與分類信息（一）信源的統(tǒng)計(jì)特性論基1）什么是信源？礎(chǔ)講信源是信息的來源，實(shí)
2、際通信中常見的信源有：語音、文字、圖義像、數(shù)據(jù)…。在信息論中，信源是產(chǎn)生消息（符號）、消息（符號）序列以及連續(xù)消息的來源，數(shù)學(xué)上，信源是產(chǎn)生隨機(jī)變量U，隨機(jī)序列U和隨機(jī)過程U(t,ω)的源。賀志強(qiáng)2）信源的主要特性信源的最基本的特性是具有統(tǒng)計(jì)不確定性，它可用概率統(tǒng)計(jì)特性來描述。3（二）信的描信源的描述與分類類信息論基1）單消息（符號）信源：它是最簡單也是最基本的信源，是組成實(shí)際信源的基本單元。它可以用信源取值隨機(jī)變量的范圍礎(chǔ)U和對應(yīng)概率分布P(u)共同組成的二元序?qū)U,P(u)]來表示。講義對離散信源?U??U?u
3、1?U?ui?U?un???????????P??p1?pi?pn?賀志強(qiáng)例：對于二進(jìn)制數(shù)據(jù)、數(shù)字信源：U={0,1}，則有1當(dāng)pp01????0,1??U??uu01??010,12????????11??P??pp01,??,??224（二）信源的描述與分類（續(xù)）信?U???a,b??息對于連續(xù)變量信源?????論基??P????p?u???1礎(chǔ)其中：uUR?????0,?pu??為連續(xù)變量的概率密度u講2）實(shí)際信源義實(shí)際信源在離散情況下是消息序列信源，在連續(xù)情況下是隨機(jī)過程信源，它們分別代表數(shù)字與模擬信源。賀①
4、離散序列信源UUUUU??ii12??iliL?志強(qiáng)i=1,2,…n簡記???UU??UU12lL其中，i=1,2,…n為每個(gè)消息（符號）取值的種類數(shù)l=1,2,…Ll=1,2,…L為消息（符號）序列的長度應(yīng)注意的是i和l是代表兩個(gè)不同范疇的變量，表示不同的概念，切勿混淆。52）實(shí)際信源（續(xù)）信信源輸出是一組隨機(jī)序列（矢量）：息??L??論基U??U?U?U??U?L維取值范圍?1lL礎(chǔ)其樣值為：uL??u1?ul?uL?講對應(yīng)概率為：p?uL??p?u1?ul?uL?義L由于每個(gè)隨機(jī)變量U={1,2,…n}有n種取
5、值，則U有n種可能取值。L賀對消息序列信源有：志強(qiáng)?UL??U?u1?U?u?nL???????p?u?????p(u1)?p(unL)??62）實(shí)際信源（續(xù)）信息例：最簡單L=3的三位PCM信源：這時(shí)L=3,n=2,即i={0,1}，則有：論基3當(dāng)p0?p1?1時(shí)?U??U?000,U?001,?,U?111?2?000,001,010,?,111?????????礎(chǔ)?p(u)??p3,p2?p,p3??1,1,1,?,1??p(u)??p0,p0p1,p1??8,8,8,,8?講義ⅰ）離散無記憶信源無記憶L平穩(wěn)?
6、???L賀pu?pu1?ul?uL??p(ul)?p(等概率，同分布)l?1志強(qiáng)ⅱ）離散有記憶信源大部分實(shí)際信源屬于這類，尤其當(dāng)L足夠大時(shí)，72）實(shí)際信源（續(xù)）信p(u)?p(u)P(u2)P(u3)?P(uL)?p(u)P(u2)P(u3)?P(uLL?1)1u1u2u1uL?1?u11u1u2u息11論基馬氏鏈L?1?p(u)P(u2)P(u3)?P(uL)?p(u)P(ul?1)1u1u2uL?11?ul礎(chǔ)l?1齊次講L?1L?pP?P1jiji義這里需要進(jìn)一步解釋有兩點(diǎn)：賀首先，我們稱僅對轉(zhuǎn)移概率平穩(wěn)的為齊次
7、；志強(qiáng)其次，當(dāng)齊次馬氏鏈滿足不可約、非周期性條件時(shí)，稱為遍歷，它與起始條件分布無關(guān)。在實(shí)際信源中，數(shù)字圖像信源往往采用馬氏鏈模型。82）實(shí)際信源（續(xù)）信②連續(xù)信源息在實(shí)際的連續(xù)信源中，可以采用兩種方法進(jìn)行分析論基一類是將連續(xù)信源離散化隨機(jī)序列信源礎(chǔ)另一類是仍然采用隨機(jī)過程來分析講下面，首先要回答什么樣的信源可以進(jìn)行離散化處理？義實(shí)際上，只要滿足一個(gè)非常寬松的條件，即滿足限時(shí)(T)、限頻(F)的連續(xù)消息信源，即滿足物理可實(shí)現(xiàn)條件下，均可離散化為隨機(jī)序列。賀志強(qiáng)類似于在信號分析中對周期性確知信號的正交展開，這里也可以類似
8、的對非確知連續(xù)隨機(jī)信號在滿足限時(shí)(T)、限頻(F)條件下展開成類似的離散隨機(jī)序列信號。92）實(shí)際信源（續(xù)）?信?j2n?tU(t)??ceT息?n?n????確知信號論基T12?j2n?t?c?U(t)eTnT??T礎(chǔ)?2講(a.e.)?義?j2n?tU(t,)c()eT??????n??n???隨機(jī)信號(a.e.)T12?j2n?t?c()?
