稀疏貝葉斯學(xué)習(xí)理論及應(yīng)用的研究

《稀疏貝葉斯學(xué)習(xí)理論及應(yīng)用的研究》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、摘要近年來，稀疏貝葉斯學(xué)習(xí)方法成為機(jī)器學(xué)習(xí)中的一個(gè)研究熱點(diǎn)，它能夠充分挖掘和利用數(shù)據(jù)的先驗(yàn)信息，假設(shè)先驗(yàn)信息的概率分布情況，對要解決的問題進(jìn)行合理的數(shù)學(xué)建模，來實(shí)現(xiàn)低維模型的學(xué)習(xí)。由于挖掘了數(shù)據(jù)的先驗(yàn)信息，因此能夠利用數(shù)據(jù)自身的特性對信號(hào)和圖像實(shí)現(xiàn)最優(yōu)的稀疏表示。稀疏貝葉斯學(xué)習(xí)的關(guān)鍵難點(diǎn)在于；模型的選取和先驗(yàn)知識(shí)的假設(shè)。在研究稀疏貝葉斯學(xué)習(xí)理論的基礎(chǔ)上，本文深入探討了在不同概率模型下的信號(hào)和圖像稀疏建模與學(xué)習(xí)方法，主要在如下幾個(gè)方面開展了工作：(1)提出一種基于快速貝葉斯匹配追蹤算法(FastBayesianMatchingpursuit，F(xiàn)BMP)的稀

2、疏學(xué)習(xí)機(jī)構(gòu)造方法。FBMP算法加入了稀疏系數(shù)服從混合高斯分布的假設(shè)，比傳統(tǒng)的貪婪匹配追蹤算法的性能有了顯著提高。本文在分析FBMP算法性能的基礎(chǔ)上，將該算法用于學(xué)習(xí)機(jī)的結(jié)構(gòu)稀疏化，提出一種基于FBMP的稀疏學(xué)習(xí)機(jī)方法。在壓縮感知框架下，進(jìn)一步通過壓縮采樣技術(shù)得到結(jié)構(gòu)更加精簡的網(wǎng)絡(luò)模型。將該方法用于雙螺旋線數(shù)據(jù)的分類，實(shí)驗(yàn)結(jié)果顯示：該方法能夠得到性能優(yōu)良的學(xué)習(xí)模型，相比其他優(yōu)化算法得到的學(xué)習(xí)機(jī)具有更好的性能。(2)實(shí)現(xiàn)了一種基于厶正則化的稀疏貝葉斯學(xué)習(xí)算法，在貝葉斯準(zhǔn)則下給出一種正則參數(shù)的學(xué)習(xí)方法。在稀疏貝葉斯學(xué)習(xí)中，假設(shè)稀疏系數(shù)服從Laplace分布，引

3、入了均勻正則化和獨(dú)立正則化的思想，建立了，l范數(shù)正則的稀疏貝葉斯學(xué)習(xí)模型，研究了正則化參數(shù)的確定方法。針對一般最,j,--乘(OrdinaryLeastSquare，OLS)和非負(fù)最d'--乘(NonnegativeLeastSquare，NLS)兩種情況，提出在貝葉斯準(zhǔn)則下正則參數(shù)的學(xué)習(xí)算法，仿真實(shí)驗(yàn)驗(yàn)證了其有效性。(3)實(shí)現(xiàn)了圖像稀疏表示的非參數(shù)稀疏貝葉斯學(xué)習(xí)，給出了在Dirichlct過程和Beta過程兩種分布下的非參數(shù)貝葉斯混合因子模型。對能夠被約束在低維子空間中高維圖像數(shù)據(jù)進(jìn)行低秩混合高斯模型的學(xué)習(xí)，該模型從給定的數(shù)據(jù)集中自動(dòng)學(xué)習(xí)得到混合元素的

4、個(gè)數(shù)和因子個(gè)數(shù)，將其作為數(shù)據(jù)的先驗(yàn)知識(shí)用于圖像的壓縮感知重建中，仿真實(shí)驗(yàn)分析了其有效性。本文的工作得到了國家自然科學(xué)基金(61072108，60601029，60971112，61173090)，教育部新世紀(jì)優(yōu)秀人才支持計(jì)劃(NCET-10．0668)，高等學(xué)校學(xué)科創(chuàng)新引智計(jì)劃(111計(jì)劃)：No．B0704和中央高校基本科研業(yè)務(wù)費(fèi)(JYl0000902041)的資助。關(guān)鍵詞：稀疏表示稀疏貝葉斯學(xué)習(xí)混合因子分析分層非參數(shù)貝葉斯壓縮感知稀疏貝葉斯學(xué)習(xí)理論及應(yīng)用研究AbstractIIIRecentlytheSparseBayesianLearning(SB

5、L)approachhasbeenahotspotresearchingareainMachineLearning，whichcalllearnthemodeloflowdimensionalbyfullydiscoveringandusingthepriorinformationofthesignal．SBLsupposesthatthepriorinformationhasadistributionfunctionform,thenmodeltheproblems，anddesignaeffectivelyoptimizationalgorithmt

6、osolvethisproblem．TherearetwodifficultiesforusingsparseBayesianlearning,oneishowtochoosetheoptimizationmodel，theotherishowtoassumethepriorprobability．DifferentmodelsCansolvetheproblem、析mthesimilarsolutionbywhichthedataCanachievesparserepresentation．Inthispaper,weinvestigatethespa

7、rseBayesianlearningalgorithmwinlseveralmodelsanditsapplicationsonsignalsorimages．nemaincontributionsCanbesummarizedasfollows：(1)AsparselearningmachinebasedonfastBayesianMatchingPursuitalgorithm(FBMP)isproposed，inwhichthecomponentsofsparseparametervectoraresupposedtohaveapriordist

8、ribution．11ledistributionisgeneratedfrom