深度學(xué)習(xí)綜述

《深度學(xué)習(xí)綜述》由會(huì)員上傳分享，免費(fèi)在線(xiàn)閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。

1、目錄1深度學(xué)習(xí)的概念11.1卷積祌經(jīng)網(wǎng)絡(luò)模型21.2深度信任網(wǎng)絡(luò)模型31.3堆棧自編碼網(wǎng)絡(luò)模型42深度學(xué)習(xí)算法52.1深度費(fèi)希爾映射方法52.2非線(xiàn)性變換方法52.3稀疏編石馬對(duì)稱(chēng)機(jī)算法62.4遷移學(xué)習(xí)算法62.5自然語(yǔ)言解析算法62.6學(xué)習(xí)率自適應(yīng)方法63深度學(xué)習(xí)的實(shí)際應(yīng)用63.1語(yǔ)音識(shí)別73.2視頻分析73.3人臉識(shí)別73.4圖像識(shí)別和檢索84深度學(xué)習(xí)的問(wèn)題及發(fā)展趨勢(shì)85總結(jié)9參考文獻(xiàn)10深度學(xué)習(xí)綜述摘要：深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的一個(gè)新領(lǐng)域，在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機(jī)制來(lái)解釋數(shù)據(jù)。近年來(lái)，深

2、度學(xué)習(xí)在各領(lǐng)域上也取得了豐碩的研究成果。本文簡(jiǎn)要論述了深度學(xué)習(xí)的概念、模型、算法以及在各領(lǐng)域的應(yīng)用，最后說(shuō)明深度學(xué)習(xí)的問(wèn)題及發(fā)展趨勢(shì)。關(guān)鍵字：深度學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)，機(jī)器學(xué)習(xí)ReviewofDeepLearningAbstract:Deepleaningisanewfieldinmachinelearningresearch.ltisawhichsimulatesthehumanbraintoanalyzeandstudythemechanismofthehumantointerpretthedata.Inrecentyears,

3、deepleaninghasachievedfruitfulresultsinvariousfields.Thispaperbrieflydiscussestheconcept,model,algorithmandapplicationinvariousfieldsofdeeplearning.Finally,explainstheproblemsanddevelopmenttrendofdeeplearning.Keywords：Deeplearning,neuralnetwork,machinelearning1深度學(xué)習(xí)的

4、概念深度學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域一個(gè)新的研允方向，近年來(lái)在圖像識(shí)別與檢索、語(yǔ)言信息處理、語(yǔ)咅識(shí)別等多領(lǐng)域屮都取得較為成功的發(fā)展。深度學(xué)習(xí)應(yīng)用的發(fā)展基礎(chǔ)在于建立模型來(lái)模擬人類(lèi)大腦的神經(jīng)連接結(jié)構(gòu)，在處理圖像、聲音和文本這些信號(hào)時(shí)，通過(guò)多個(gè)變換階段分層對(duì)數(shù)據(jù)特征進(jìn)行描述，進(jìn)而給出數(shù)據(jù)的解釋。深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研宄。含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。深度學(xué)習(xí)通過(guò)組合低層特征形成更加抽象的高層表示屬性類(lèi)別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。深度學(xué)習(xí)的概念最早G.E.Hinton等于2006年提出?；谏钚哦染W(wǎng)（DBN）提

5、出非監(jiān)督貪心訓(xùn)練逐層算法，為解決深層結(jié)構(gòu)相關(guān)的優(yōu)化難題帶來(lái)希望，隨后提出多層自動(dòng)編碼器深層結(jié)構(gòu)。此外Lecim等人提出的卷積神經(jīng)網(wǎng)絡(luò)是第一個(gè)真正多層結(jié)構(gòu)學(xué)習(xí)算法，它利用空間相對(duì)關(guān)系減少參數(shù)數(shù)目以提高訓(xùn)練性能。同機(jī)器學(xué)習(xí)方法一樣，深度機(jī)器學(xué)習(xí)方法也有有監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)之分，不同的學(xué)框架下建立的學(xué)模型不同。例如卷積神經(jīng)網(wǎng)絡(luò)就是一種深度的監(jiān)督學(xué)習(xí)下的機(jī)器學(xué)習(xí)模型，而就是一種無(wú)監(jiān)督學(xué)習(xí)下的機(jī)器學(xué)習(xí)模型。典型的深度學(xué)習(xí)模型有卷積神經(jīng)網(wǎng)絡(luò)、深度置信網(wǎng)絡(luò)和堆棧自編碼網(wǎng)絡(luò)模型等，下面對(duì)這些模型進(jìn)行描述。1.1卷積神經(jīng)網(wǎng)絡(luò)模型卷積神經(jīng)網(wǎng)絡(luò)是

6、人工神經(jīng)網(wǎng)絡(luò)的一種，已成為當(dāng)前語(yǔ)音分析和圖像識(shí)別領(lǐng)域的研宄熱點(diǎn)。它的權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)使之更類(lèi)似于生物神經(jīng)網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量。該優(yōu)點(diǎn)在于網(wǎng)絡(luò)的輸入是多維圖像時(shí)表現(xiàn)的更為明顯，使圖像可以直接作為網(wǎng)絡(luò)的輸入，避免了傳統(tǒng)算法屮復(fù)雜的特征提取和數(shù)據(jù)重建過(guò)程。卷積網(wǎng)絡(luò)是為識(shí)別二維形狀而特殊設(shè)計(jì)的一個(gè)多層感知器，這種網(wǎng)絡(luò)結(jié)構(gòu)對(duì)平移、比例縮放、傾斜或是其他形式的變形只有高度不變形。Lecun的卷積神經(jīng)網(wǎng)絡(luò)由卷積層和子抽樣層兩種類(lèi)型的神經(jīng)網(wǎng)絡(luò)層組成。每一層有一個(gè)拓?fù)鋱D結(jié)構(gòu)，即在接收域內(nèi)，每個(gè)祌經(jīng)元與輸入圖像中某個(gè)位置

7、對(duì)應(yīng)的固定二維位置編碼信息關(guān)聯(lián)。在每層的各個(gè)位置分布著許多不同的神經(jīng)元，每個(gè)神經(jīng)元有一組輸入權(quán)值，這些權(quán)值與前一層神經(jīng)網(wǎng)絡(luò)矩形塊中的神經(jīng)元關(guān)聯(lián)；同一組權(quán)值和不同輸入矩形塊與不同位置的神經(jīng)元關(guān)聯(lián)。下圖是一個(gè)用于手寫(xiě)體字符識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)，由一個(gè)輸入層、四個(gè)隱層和一個(gè)輸出層組成。由下圖可以看出，與完全連接的多層前饋感知器網(wǎng)絡(luò)相比，卷積神經(jīng)網(wǎng)絡(luò)通過(guò)使用接收域的局部連接，限制丫網(wǎng)絡(luò)結(jié)構(gòu)。卷積祌經(jīng)網(wǎng)絡(luò)的另一個(gè)特點(diǎn)是權(quán)值共享，圖中包含大量連接權(quán)值，但是由于冋一隱層的神經(jīng)元共享同一權(quán)值集，大大減少了自由參數(shù)的數(shù)量。圖1一1用于手寫(xiě)體字符識(shí)

8、別的卷積祌經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)木質(zhì)上實(shí)現(xiàn)一種輸入到輸出的映射關(guān)系，能夠?qū)W習(xí)大量輸入與輸出之間的映射關(guān)系，不需耍任何輸入和輸出之間的精確數(shù)學(xué)表達(dá)式，只要用己知的模式對(duì)卷積神經(jīng)網(wǎng)絡(luò)加以訓(xùn)練，就可以使網(wǎng)絡(luò)具有輸入輸出之間的映射能力。卷積神經(jīng)網(wǎng)絡(luò)執(zhí)行的是有監(jiān)督訓(xùn)練，在開(kāi)始訓(xùn)練前，用一些