資源描述：
《從貝葉斯推理到邏輯貝葉斯推理——一個新的數(shù)學框架用于語》由會員上傳分享，免費在線閱讀，更多相關內容在工程資料-天天文庫。
1、投稿ICIS2018，Workshop：StatisticalLeaningforIntelligentInformationProcessing歡迎各位一閱并提供寶貴批評建議。--作者從貝葉斯推理到邏輯貝葉斯推理——一個新的數(shù)學框架用于語義通信和機器學習魯晨光遼寧工程技術大學智能工程和數(shù)學學院阜新123000)lcguang@foxmail.com摘要貝葉斯推理（BI）使用貝葉斯后驗而邏輯貝葉斯推理（LBI）使用真值函數(shù)或隸屬函數(shù)作為推理工具。提出LBI主要是因為貝葉斯推理不兼容傳統(tǒng)的貝葉斯預測，也沒使用能反映語義的邏輯概率。
2、在新的數(shù)學框架中，統(tǒng)計概率和邏輯概率被嚴格區(qū)分并被同時使用；通過新發(fā)現(xiàn)的第三種貝葉斯定理，兩種概率可以相互轉換；我們可以從Shannon信道直接導出一組真值函數(shù)或語義信道。語義通信模型用作機器學習模型分兩部分:接收者的標簽學習（也就是語義信道匹配Shannon信道）；發(fā)送者的標簽選擇或分類（也就是Shannon信道匹配語義信道）。最大語義信息(MSI)準則等價于最大似然(ML)準則，也兼容正則化最小誤差平方(RLS)準則。兩種信道相互匹配就能方便地實現(xiàn)多標簽分類——同時考慮到類別不平衡和實例先驗概率分布變化,而不需要考慮二元關聯(lián)
3、。使用信道匹配(CM)迭代算法，就能得到不可見實例分類和最大似然估計(屬于半監(jiān)督學習)。求解混合模型(屬于無監(jiān)督學習)則需要另一種匹配——最小化Shannon互信息和語義互信息之差。兩種迭代的收斂都可以通過R(G)函數(shù)證明——R(G)函數(shù)是信息率失真函數(shù)R(D)的改進，G是語義互信息，可被理解為負的正則化的失真。文中提供了一些應用例子，包括有監(jiān)督學習、半監(jiān)督學習和無監(jiān)督學習的例子。理論分析和算法實踐顯示：邏輯貝葉斯推理比貝葉斯推理在機器學習的大多數(shù)方面有更好表現(xiàn)。結尾也討論了該框架的局限性。關鍵詞貝葉斯定理，貝葉斯推理，邏輯概率
4、，Shannon信道，語義信道，機器學習，多標簽分類，最大似然估計，混合模型。附圖摘要——1引言貝葉斯推理即貝葉斯主義推理(BayesianInference,后面縮寫為BI)【1,2】，有人把它翻譯為“貝葉斯推斷”,或許更準確。為了中文順口，也為了和大多數(shù)翻譯一致，我們還是用“貝葉斯推理”或BI。BI并不是貝葉斯提出的，而是貝葉斯學派提出的。貝葉斯本人只提出聯(lián)合概率和條件概率之間的關系【3】，我們常見的貝葉斯公式是拉普拉斯整理的【4】，至于貝葉斯學派也是后來在和頻率主義爭論中形成的【5,6】。貝葉斯學派和頻率學派的主要差別是對
5、概率的認識。頻率學派認為概率——包括統(tǒng)計概率和預測的概率(似然度)是事件發(fā)生的頻率或頻率的極限.貝葉斯主義又分為主觀貝葉斯主義和邏輯貝葉斯主義，主觀貝葉斯主義者（比如使用BI者）認為概率取決于主觀信任度，而邏輯貝葉斯主義者認為概率是邏輯真值或邏輯的推廣【6】。大多數(shù)邏輯貝葉斯主義者(比如Keynes和Carnap)使用真值函數(shù)作為推理工具，但是沒有用到樣本檢驗。本文主要工作就是使用樣本檢驗和語義信息方法發(fā)展邏輯貝葉斯主義的推理方法，并且反過來用于語義通信和統(tǒng)計學習。也不是前面有“貝葉斯”字樣的方法就屬于貝葉斯主義，因為“Baye
6、s’”也翻譯成定語“貝葉斯”，比如“Bayes’theorem”翻譯成“貝葉斯定理”。很多貝葉斯方法其實是經(jīng)典方法或頻率主義的方法，比如Fisher的似然方法【7】和Shannnon信息論【8】中用的貝葉斯方法。即使用了主觀概率，比如貝葉斯信念網(wǎng)，方法也可能還是經(jīng)典的貝葉斯方法。Fisher開創(chuàng)1的似然方法用參數(shù)θ構造的x(數(shù)據(jù)、實例、或證據(jù)點)的后驗概率分布，即似然函數(shù)P(x
7、θ)，作為假設檢驗的工具。BI的核心思想是：假設存在參數(shù)的先驗概率分布——又叫貝葉斯先驗P(θ)；通過貝葉斯定理，從P(θ)和預測模型(即一組似然函數(shù))
8、可以推導出貝葉斯后驗P(θ
9、x)。在假設檢驗中用P(x
10、θ)還是用P(θ
11、x)就成了區(qū)別頻率主義和貝葉斯主義的主要標志。然而，據(jù)考察，P(θ
12、x)最早也是Fisher提出的【1】。其實在Bayes的文章【3】中就有概率的兩種解釋：用打賭做例子時使用頻率作為概率；但是講到兩個概率之和為1時，又使用了邏輯互補概念?？梢姡瑑膳赏?。本文提出邏輯貝葉斯推理(LogicalBayesianInference，縮寫為LBI)。它強調邏輯概率，主要為了表達概念的外延或語義.LBI表面上看是更極端的貝葉斯主義方法，但是它更加兼容頻率主義，甚至用
13、頻率主義觀點解釋真值函數(shù)(或隸屬函數(shù))和邏輯概率。所以LBI是激進的貝葉斯主義和激進的頻率主義的結合。也許這種結合正是Bayes和Fisher希望看到的。Shannon采用統(tǒng)計概率建立經(jīng)典信息論，F(xiàn)isher等人采用預測概率建立用于假設檢驗的似然方法。兩者都是頻
