深度學(xué)習(xí)最權(quán)威綜述.pdf

《深度學(xué)習(xí)最權(quán)威綜述.pdf》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。

1、深度學(xué)習(xí)最權(quán)威綜述！業(yè)界三大神LeCun、Bengio和Hinton聯(lián)合打造三大牛YannLeCun、YoshuaBengio和GeoffreyHinton在深度學(xué)習(xí)領(lǐng)域的地位無人不知。為紀(jì)念人工智能提出60周年，最新的《Nature》雜志專門開辟了一個“人工智能+機器人”專題，發(fā)表多篇相關(guān)論文，其中包括了YannLeCun、YoshuaBengio和GeoffreyHinton首次合作的這篇綜述文章“DeepLearning”。本文為該綜述文章中文譯文的上半部分，深入淺出地介紹了深度學(xué)習(xí)的基本原理和核心優(yōu)勢。原文摘要：深度學(xué)習(xí)可以讓那些擁有多個處理層的計算模型來學(xué)習(xí)具有多層次抽象

2、的數(shù)據(jù)的表示。這些方法在許多方面都帶來了顯著的改善，包括最先進的語音識別、視覺對象識別、對象檢測和許多其它領(lǐng)域，例如藥物發(fā)現(xiàn)和基因組學(xué)等。深度學(xué)習(xí)能夠發(fā)現(xiàn)大數(shù)據(jù)中的復(fù)雜結(jié)構(gòu)。它是利用BP算法來完成這個發(fā)現(xiàn)過程的。BP算法能夠指導(dǎo)機器如何從前一層獲取誤差而改變本層的內(nèi)部參數(shù)，這些內(nèi)部參數(shù)可以用于計算表示。深度卷積網(wǎng)絡(luò)在處理圖像、視頻、語音和音頻方面帶來了突破，而遞歸網(wǎng)絡(luò)在處理序列數(shù)據(jù)，比如文本和演講方面表現(xiàn)出了閃亮的一面。機器學(xué)習(xí)技術(shù)在現(xiàn)代社會的各個方面表現(xiàn)出了強大的功能：從Web搜索到社會網(wǎng)絡(luò)內(nèi)容過濾，再到電子商務(wù)網(wǎng)站上的商品推薦都有涉足。并且它越來越多地出現(xiàn)在消費品中，比如相機和

3、智能手機。機器學(xué)習(xí)系統(tǒng)被用來識別圖片中的目標(biāo)，將語音轉(zhuǎn)換成文本，匹配新聞元素，根據(jù)用戶興趣提供職位或產(chǎn)品，選擇相關(guān)的搜索結(jié)果。逐漸地，這些應(yīng)用使用一種叫深度學(xué)習(xí)的技術(shù)。傳統(tǒng)的機器學(xué)習(xí)技術(shù)在處理未加工過的數(shù)據(jù)時，體現(xiàn)出來的能力是有限的。幾十年來，想要構(gòu)建一個模式識別系統(tǒng)或者機器學(xué)習(xí)系統(tǒng)，需要一個精致的引擎和相當(dāng)專業(yè)的知識來設(shè)計一個特征提取器，把原始數(shù)據(jù)（如圖像的像素值）轉(zhuǎn)換成一個適當(dāng)?shù)膬?nèi)部特征表示或特征向量，子學(xué)習(xí)系統(tǒng)，通常是一個分類器，對輸入的樣本進行檢測或分類。特征表示學(xué)習(xí)是一套給機器灌入原始數(shù)據(jù)，然后能自動發(fā)現(xiàn)需要進行檢測和分類的表達的方法。深度學(xué)習(xí)就是一種特征學(xué)習(xí)方法，把原始

4、數(shù)據(jù)通過一些簡單的但是非線性的模型轉(zhuǎn)變成為更高層次的，更加抽象的表達。通過足夠多的轉(zhuǎn)換的組合，非常復(fù)雜的函數(shù)也可以被學(xué)習(xí)。對于分類任務(wù)，高層次的表達能夠強化輸入數(shù)據(jù)的區(qū)分能力方面，同時削弱不相關(guān)因素。比如，一副圖像的原始格式是一個像素數(shù)組，那么在第一層上的學(xué)習(xí)特征表達通常指的是在圖像的特定位置和方向上有沒有邊的存在。第二層通常會根據(jù)那些邊的某些排放而來檢測圖案，這時候會忽略掉一些邊上的一些小的干擾。第三層或許會把那些圖案進行組合，從而使其對應(yīng)于熟悉目標(biāo)的某部分。隨后的一些層會將這些部分再組合，從而構(gòu)成待檢測目標(biāo)。深度學(xué)習(xí)的核心方面是，上述各層的特征都不是利用人工工程來設(shè)計的，而是使

5、用一種通用的學(xué)習(xí)過程從數(shù)據(jù)中學(xué)到的。深度學(xué)習(xí)正在取得重大進展，解決了人工智能界的盡最大努力很多年仍沒有進展的問題。它已經(jīng)被證明，它能夠擅長發(fā)現(xiàn)高維數(shù)據(jù)中的復(fù)雜結(jié)構(gòu)，因此它能夠被應(yīng)用于科學(xué)、商業(yè)和政府等領(lǐng)域。除了在圖像識別、語音識別等領(lǐng)域打破了紀(jì)錄，它還在另外的領(lǐng)域擊敗了其他機器學(xué)習(xí)技術(shù)，包括預(yù)測潛在的藥物分子的活性、分析粒子加速器數(shù)據(jù)、重建大腦回路、預(yù)測在非編碼DNA突變對基因表達和疾病的影響。也許更令人驚訝的是，深度學(xué)習(xí)在自然語言理解的各項任務(wù)中產(chǎn)生了非?？上驳某晒?，特別是主題分類、情感分析、自動問答和語言翻譯。我們認(rèn)為，在不久的將來，深度學(xué)習(xí)將會取得更多的成功，因為它需要很少的

6、手工工程，它可以很容易受益于可用計算能力和數(shù)據(jù)量的增加。目前正在為深度神經(jīng)網(wǎng)絡(luò)開發(fā)的新的學(xué)習(xí)算法和架構(gòu)只會加速這一進程。監(jiān)督學(xué)習(xí)機器學(xué)習(xí)中，不論是否是深層，最常見的形式是監(jiān)督學(xué)習(xí)。試想一下，我們要建立一個系統(tǒng)，它能夠?qū)σ粋€包含了一座房子、一輛汽車、一個人或一個寵物的圖像進行分類。我們先收集大量的房子，汽車，人與寵物的圖像的數(shù)據(jù)集，并對每個對象標(biāo)上它的類別。在訓(xùn)練期間，機器會獲取一副圖片，然后產(chǎn)生一個輸出，這個輸出以向量形式的分?jǐn)?shù)來表示，每個類別都有一個這樣的向量。我們希望所需的類別在所有的類別中具有最高的得分，但是這在訓(xùn)練之前是不太可能發(fā)生的。通過計算一個目標(biāo)函數(shù)可以獲得輸出分?jǐn)?shù)和

7、期望模式分?jǐn)?shù)之間的誤差（或距離）。然后機器會修改其內(nèi)部可調(diào)參數(shù)，以減少這種誤差。這些可調(diào)節(jié)的參數(shù)，通常被稱為權(quán)值，它們是一些實數(shù)，可以被看作是一些“旋鈕”，定義了機器的輸入輸出功能。在典型的深學(xué)習(xí)系統(tǒng)中，有可能有數(shù)以百萬計的樣本和權(quán)值，和帶有標(biāo)簽的樣本，用來訓(xùn)練機器。為了正確地調(diào)整權(quán)值向量，該學(xué)習(xí)算法計算每個權(quán)值的梯度向量，表示了如果權(quán)值增加了一個很小的量，那么誤差會增加或減少的量。權(quán)值向量然后在梯度矢量的相反方向上進行調(diào)整。我們的目標(biāo)函數(shù)，所有訓(xùn)練樣本的平均，可以被