基于深度堆疊卷積神經(jīng)網(wǎng)絡(luò)的圖像融合

《基于深度堆疊卷積神經(jīng)網(wǎng)絡(luò)的圖像融合》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在應(yīng)用文檔-天天文庫。

1、基于深度堆疊卷積神經(jīng)網(wǎng)絡(luò)的圖像融合藺素珍韓澤中北大學(xué)計(jì)算機(jī)與控制工程學(xué)院該文針對多尺度變換融合圖像中普遍存在的需要依據(jù)先驗(yàn)知識(shí)選取濾波器，導(dǎo)致融合效果存在不確定性的問題，提出了基于深度堆疊卷積神經(jīng)網(wǎng)絡(luò)的融合方法.首先，分別以高斯拉普拉斯濾波器和高斯濾波器為首層網(wǎng)絡(luò)的初始卷積核，將源圖像分解為高頻和低頻圖像序列;其次，基于HeK方法初始化其余層卷積核，獲得與源圖像尺寸相同的高頻和低頻重構(gòu)圖像各一幅，并將二者合成源圖像的近似圖像;再以源圖像和近似圖像像素值之差的平方和的均值為誤差函數(shù)，進(jìn)行反向傳播訓(xùn)練形成基本神經(jīng)單元;之后，將多個(gè)基本單元堆疊起來利用end-to-end的方式調(diào)

2、整整個(gè)網(wǎng)絡(luò)得到深度堆疊神經(jīng)網(wǎng)絡(luò).然后，利用該堆疊網(wǎng)絡(luò)分別分解測試圖像對，得到各自的高頻和低頻圖像，再基于局部方差取大和區(qū)域匹配度合并的規(guī)則分別融合高頻和低頻圖像，并將高頻融合圖像和低頻融合圖像放回最后一層網(wǎng)絡(luò)，得到最終的融合圖像.實(shí)驗(yàn)結(jié)果表明：與基f雙樹復(fù)小波變換(Dual-TreeComplexWaveletTransform,DTCWT)、非下采樣輪廓波變換(Non-SubsampledContourletTransform,NSCT)和非卜采樣剪切波變換(Non-SubsamplcdShcarlctTransform,NSST)的融合結(jié)果相比，用高斯拉普拉斯濾波器和高

3、斯濾波器初始化的深度堆疊卷積神經(jīng)網(wǎng)絡(luò)融合效果主觀效果好，客觀指標(biāo)最優(yōu)個(gè)數(shù)為NSCT的3.3倍，運(yùn)行時(shí)間為NSCT的30.3%和NSST的11.6%.關(guān)鍵詞：圖像融合;深度學(xué)習(xí)；卷積神經(jīng)網(wǎng)絡(luò);堆疊自動(dòng)編碼;濾波器;(1)獲得方法如下:式中，表示卷積操作，f為激活函數(shù)，％為第i個(gè)卷積核，i={l,2,…，nJ,rn為Hl層特征映射圖的個(gè)數(shù)，叫表示偏置.冋理可得L1層特征映射圖Iu.(2)H2層特征映射圖1?2獲得方法如下：式中，1,12為1,12的第j(j={l,2,n2})個(gè)結(jié)果，?為142層特征映射圖的個(gè)數(shù)，e」表示第j個(gè)偏置.同理可得到L2層特征映射圖⑶用T?2替代式(2

4、)中的TH1即可得到高頻圖像T?3.同理可得低頻圖像1.(4)高頻圖像Ill3和低頻圖像lua再經(jīng)過卷積得到重構(gòu)圖像y.3.2.2DSCNN的訓(xùn)練DSCNN的訓(xùn)練包括基本單元訓(xùn)練和堆疊網(wǎng)絡(luò)訓(xùn)練.(1)基本單元訓(xùn)練(1)X層到H1層的卷積核初始化為高斯拉普拉斯濾波器，X層到L1層的卷積核初始化為高斯濾波器.其余卷積核使用HeK方法［18］初始化.將網(wǎng)絡(luò)所有的偏置初始化為0.(2)釆用無監(jiān)督方式訓(xùn)練基木單元，輸入訓(xùn)練數(shù)據(jù){xs,ys}s=1,其中ys=xs,設(shè)網(wǎng)絡(luò)的輸出為zs,由于常用的平方差作為目標(biāo)函數(shù)會(huì)導(dǎo)致?lián)p失計(jì)算結(jié)果過大，影響網(wǎng)絡(luò)的穩(wěn)定性，因此定義目標(biāo)函數(shù)：式中，W表示卷

5、積核，0表示偏置，N表示訓(xùn)練集的大小，s表示當(dāng)前訓(xùn)練樣木，m和n為單幅圖像的尺汴，^、.表示當(dāng)前樣本輸出結(jié)果一個(gè)點(diǎn)的值，該式將總誤差平均到每個(gè)像素點(diǎn)后值較小，便于訓(xùn)練.然后通過反向傳播算法對網(wǎng)絡(luò)進(jìn)行訓(xùn)練.(2)堆疊網(wǎng)絡(luò)訓(xùn)練將多個(gè)訓(xùn)練好的基木單元首尾相接組成堆疊網(wǎng)絡(luò).再用和基木單元相同的數(shù)據(jù)集和S標(biāo)函數(shù)采用end-to-end的方式同時(shí)調(diào)整整個(gè)網(wǎng)絡(luò)，最終得到堆疊卷積神經(jīng)網(wǎng)絡(luò).DSCNN經(jīng)過上述訓(xùn)練后可以將圖像分解為高頻和低頻圖像并在誤差允許的范圍內(nèi)重構(gòu)，圖6為堆疊數(shù)為3時(shí)的DSCNN過程示意圖.其中，實(shí)際卷積核大小為5X5，為便于觀察，圖6(a)和(b)分別給出高頻子網(wǎng)和低頻

6、子網(wǎng)首層網(wǎng)絡(luò)4個(gè)卷積核放大10倍的可視化結(jié)果，5幅圖像中第1幅為卷積核的初始狀態(tài)(4個(gè)卷積核相同)，其余4幅為訓(xùn)練結(jié)束時(shí)4個(gè)卷積核的狀態(tài)；圖6(c)、(d)分別是輸入Lena閣像時(shí)閣6(a)和(b)對應(yīng)的操作結(jié)果.圖6堆疊個(gè)數(shù)為3的DSCNN的分解圖3.3基于DSCNN融合圖像基于DSCNN融合圖像的網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示，過程具體如下:(1)輸入源圖像A和B,經(jīng)己訓(xùn)練好的DSCNN得到高頻圖像A?3、B?3和低頻圖像(1)融合高頻圖像圖像的高頻信息主耍與邊緣輪廓等灰度突變之處相對應(yīng).為了選取更“亮”的像素點(diǎn)構(gòu)成邊緣，多數(shù)研究都采用對應(yīng)系數(shù)取大的高頻融合規(guī)則.由于人眼對局部信息

7、更為敏感，所以，依據(jù)局部參量確定融合規(guī)則更符合人的視覺特性.而衡量局部信息豐富程度的常見指標(biāo)有局部方差、局部熵、局部粗糙度等，其值越大說明局部信息越豐富.其中，局部方差最為簡單常用，其值越大說明該區(qū)域內(nèi)目標(biāo)的邊緣、細(xì)節(jié)越豐富，因此選擇局部方差取大作為融合準(zhǔn)則：式中，o(x，y)表示點(diǎn)(x，y)的局部方差.(2)融合低頻閣像常見的低頻融合規(guī)則有基于灰度值或局部參量的加權(quán)平均、取大等.考慮到局部能量可以反應(yīng)目標(biāo)的局部顯著程度，其值越大，目標(biāo)越突出；而局部匹配度可衡量待融合圖像的局部相似水平，所以，結(jié)合二者可自適應(yīng)確定權(quán)