信息論基礎(chǔ)new

《信息論基礎(chǔ)new》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、《信息論基礎(chǔ)》ElementsofInformationTheory第一次讀書會(huì)第一章、第二章主講：Jake為何要讀此書？感興趣的主要章節(jié)和順序?基礎(chǔ)信息論模塊?1、緒論與概論；2、熵、相對(duì)熵與互信息；5、數(shù)據(jù)壓縮；7、信道容量；9、高斯信道；10、率失真理論；13、通用信源編碼；14、科爾莫戈羅夫復(fù)雜度；15、網(wǎng)絡(luò)信息論感興趣的主要章節(jié)和順序?概率論與數(shù)理統(tǒng)計(jì)模塊?3、漸近均分性；4、隨機(jī)過程的熵率；8、微分熵；11、信息論與統(tǒng)計(jì)學(xué)；12、最大熵；17、信息論中的不等式感興趣的主要章節(jié)和順序?博弈論模塊?6、博弈與數(shù)據(jù)壓縮；16、信息論與投資組合理論建議順序?第一次：1

2、、2；?第二次：3；?第三次：5?第四次：7?第五次：14(參考文獻(xiàn)[1])?第六次：6、16?此謂第一期（計(jì)劃到2013二月份）建議順序?第七次：4+參考文獻(xiàn)[2]?第八次：11?第九次：11+參考文獻(xiàn)[3]或[4]?第十次：12+參考文獻(xiàn)[5]或[6]?第十一次：6?第十二次：16?此謂第二期（時(shí)間將視情況而定）參考文獻(xiàn)?[1],OnuniversalityofZipfLaw?[2],Leasteffortandtheoriginsofscalinginhumanlanguage?[3],SciencefromFisherInformation–Aunificatio

3、n?[4],MethodsofInformationGeometry?[5],Nonadditiveentropyandnonextensivestatisticalmechanics-Anoverviewafter20years?[6],Maximumentropyandthestate-variableapproach第一章、緒論與概覽?信息論的核心：臨界數(shù)據(jù)壓縮的值（熵）和臨界通信傳輸速率的值（信道容量C）第一章、緒論與概覽信息論與概率論?概率與各種信息量的關(guān)系?概率分布：單變量分布、雙變量分布、條件概率分布?信息量（熵）：Shannon熵、互信息、條件熵?信息量是

4、對(duì)概率分布彌散性質(zhì)的一種平均描述?新的觀點(diǎn)：?Informationtheorymustprecedeprobabilitytheoryandnotbebasedonit.?---A.N.Kolmogorov信息論與計(jì)算機(jī)科學(xué)?Kolmogrov復(fù)雜度?一個(gè)數(shù)據(jù)段的復(fù)雜度可以定義為計(jì)算該數(shù)據(jù)串所需的最短二進(jìn)制程序的長度。?如果序列服從熵為H的分布，則它的復(fù)雜度C近似為Shannon熵H?算法復(fù)雜度與計(jì)算復(fù)雜度二者之間的互補(bǔ)關(guān)系：熱力學(xué)與信息論dS?dQ/T?卡諾熱機(jī)?克勞修斯熵?reversible?玻爾茲曼熵S?lnW?玻爾茲曼的H定理，第一次提出了熵的現(xiàn)代表達(dá)式：H?

5、??p(x)logp(x)?吉布斯將統(tǒng)計(jì)力學(xué)中的熵統(tǒng)一形式?Shannon熵?E.T.Jaynes的統(tǒng)計(jì)物理科學(xué)的哲學(xué)觀?奧克姆剃刀原理：“因不宜超出果之所需”?Solomonoff和Chaitin猜想：?誰能獲得適合處理數(shù)據(jù)的所有程序的加權(quán)組合，并能觀察到下一步的輸出值，誰就能得到萬能的預(yù)測程序。?當(dāng)然，這樣的程序及其不切實(shí)際，因?yàn)榍宄胁贿m合生成現(xiàn)有數(shù)據(jù)的程序需要花費(fèi)的時(shí)間是不可接受的?何為好的科學(xué)理論：利用盡可能少的輸入信息，能夠得到最多的輸出信息的模型。信息論與經(jīng)濟(jì)學(xué)（投資）?最優(yōu)投資第一原理：?不要把雞蛋放到同一個(gè)籃子里?這就是熵原理，如果把分在一個(gè)籃子里的雞

6、蛋比例看作概率，那么最大化熵就得到最合理的投資組合。?賽馬問題：有n匹馬，每匹馬獲勝的概率為pi，那么你應(yīng)該如何持續(xù)地對(duì)這n匹馬下注？答案是，你下注在第i匹馬上的賭資比例為：-log(pi)信息論與復(fù)雜系統(tǒng)?信息論為“老三論”的重要分支?生命是橫跨在物質(zhì)與信息邊界上的系統(tǒng)?復(fù)雜系統(tǒng)的研究應(yīng)該奠定在現(xiàn)代信息論基礎(chǔ)之上?信息力?統(tǒng)計(jì)標(biāo)度律與信息論第二章：熵、相對(duì)熵與互信息信源觀察者?信源發(fā)射信號(hào)（字母），信號(hào)的可能集合為：{a1,a2,..,an}?每一個(gè)元素出現(xiàn)的概率{p1,p2,…,pn}?那么，定義第i個(gè)元素所包含的信息量為-log(pi)?則，信源所容納的信息為所有n

7、個(gè)元素的平均信息量I?E(I)??pI???plog(p)iiiiiii最短描述長度信源觀察者?信源發(fā)射信號(hào)（字母），信號(hào)的可能集合為：{a1,a2,..,an}?每一個(gè)元素出現(xiàn)的概率{p1,p2,…,pn}?用二進(jìn)制串給這個(gè)信源編碼，例如：a1?00,a2?01,a3?10,a4?11?但是這種編碼不經(jīng)濟(jì)（描述該信源的一串信號(hào)的編碼長度比較長），因?yàn)樗鼈兂霈F(xiàn)的概率不相等。?應(yīng)該讓每個(gè)字母編碼的長度正比于它出現(xiàn)的概率的相反數(shù)：li=-log(pi)?最短的編碼長度就是Shannon熵?參見P8頁，以及第5章如何理解Shanno