深度學(xué)習(xí)在自然語(yǔ)言處理中的應(yīng)用

《深度學(xué)習(xí)在自然語(yǔ)言處理中的應(yīng)用》由會(huì)員上傳分享，免費(fèi)在線(xiàn)閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、深度學(xué)習(xí)在自然語(yǔ)言處理中的應(yīng)用李晟群摘要：近年來(lái)，深度學(xué)習(xí)在圖像和語(yǔ)音處理領(lǐng)域已經(jīng)取得顯著進(jìn)展，但是在同屬人類(lèi)認(rèn)知范疇的自然語(yǔ)言處理任務(wù)中，研究還未取得重大突破.本文通過(guò)分析目前國(guó)內(nèi)外部分專(zhuān)家學(xué)者對(duì)面向自然語(yǔ)言處理的深度學(xué)習(xí)研究的總體概況，梳理、總結(jié)了相關(guān)文獻(xiàn)，介紹深度學(xué)習(xí)的基本概念；分析討論了當(dāng)前面向自然語(yǔ)言處理的深度學(xué)習(xí)研究進(jìn)展及應(yīng)用策略和深度學(xué)習(xí)的平臺(tái)和工具；對(duì)深度學(xué)習(xí)在自然語(yǔ)言處理處理領(lǐng)域的發(fā)展趨勢(shì)和有待深入研究的難點(diǎn)進(jìn)行了展望.關(guān)鍵詞：自然語(yǔ)言處理，深度學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)1.前言深度學(xué)習(xí)在圖像的語(yǔ)音領(lǐng)域取得了突出成果，但是在自然語(yǔ)言處理上還未取得重大突破，與語(yǔ)音和圖像

2、不同，語(yǔ)言是一種經(jīng)過(guò)人類(lèi)大腦產(chǎn)生并加工處理的符號(hào)系統(tǒng)，似乎模仿人腦結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)應(yīng)該在自然語(yǔ)言處理領(lǐng)域擁有更多優(yōu)勢(shì)，但實(shí)際情況并非如此.同時(shí)，近幾十年來(lái)，基于統(tǒng)計(jì)的模型成為自然語(yǔ)言處理非主流方法之后，屬于統(tǒng)計(jì)方法典型代表的人工神經(jīng)網(wǎng)絡(luò)在自然語(yǔ)言處理領(lǐng)域依然沒(méi)有得到足夠重視.當(dāng)然，這一切在2006年Hinton等提出深度學(xué)習(xí)[1]以后，情況發(fā)生了變化，當(dāng)前結(jié)合深度學(xué)習(xí)模型開(kāi)展自然語(yǔ)言處理相關(guān)應(yīng)用已經(jīng)取得了一定成果，并成為研究熱點(diǎn)之一.本文主要對(duì)深度學(xué)習(xí)在自然語(yǔ)言處理領(lǐng)域的研究概況進(jìn)行總結(jié)，并且指出當(dāng)前存在的問(wèn)題和對(duì)未來(lái)的發(fā)展方向進(jìn)行一個(gè)探討.2.深度學(xué)習(xí)的基本概念深度學(xué)習(xí)

3、（Deeplearning）通過(guò)建立深層神經(jīng)網(wǎng)絡(luò)，模擬人腦的機(jī)制進(jìn)行解釋并分析學(xué)習(xí)圖像、語(yǔ)音及文本等數(shù)據(jù)，是目前機(jī)器學(xué)習(xí)研究中的一個(gè)熱點(diǎn)領(lǐng)域.傳統(tǒng)機(jī)器學(xué)習(xí)工作的有效性，很大程度上依賴(lài)于人工設(shè)計(jì)的數(shù)據(jù)表示和輸入特征的有效性；機(jī)器學(xué)習(xí)方法在這個(gè)過(guò)程中的作用僅僅是優(yōu)化學(xué)習(xí)權(quán)重以便最終輸出最優(yōu)的學(xué)習(xí)結(jié)果.與傳統(tǒng)機(jī)器學(xué)習(xí)方法不同的是，深度學(xué)習(xí)試圖自動(dòng)完成數(shù)據(jù)表示和特征提取工作；并且深度學(xué)習(xí)更強(qiáng)調(diào)，通過(guò)學(xué)習(xí)過(guò)程提取出不同水平、不同維度的有效表示，以便提高不同抽象層次上對(duì)數(shù)據(jù)的解釋能力.從認(rèn)知科學(xué)角度來(lái)看，這個(gè)思路與人類(lèi)學(xué)習(xí)機(jī)理非常吻合.3.深度學(xué)習(xí)在自然語(yǔ)言處理領(lǐng)域的研究概況神經(jīng)網(wǎng)絡(luò)和

4、深度學(xué)習(xí)模型首先是在計(jì)算機(jī)視覺(jué)等領(lǐng)域取得了進(jìn)展，而在自然語(yǔ)言處理領(lǐng)域，其獲得大量應(yīng)用的時(shí)間相對(duì)較晚.從二十一世紀(jì)初開(kāi)始，一些將神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)應(yīng)用在自然語(yǔ)言處理領(lǐng)域的文章被陸續(xù)發(fā)表.Bengioetal.（2003）[2]提出了利用遞歸神經(jīng)網(wǎng)絡(luò)建立語(yǔ)言模型，該模型利用遞歸神經(jīng)網(wǎng)絡(luò)為每個(gè)詞學(xué)習(xí)一個(gè)分布表示（distributedrepresentation）的同時(shí)，也為詞序列進(jìn)行了建模.該模型在實(shí)驗(yàn)中取得了比同時(shí)期最優(yōu)的n元語(yǔ)法模型更好的結(jié)果，且可以利用更多的上下文信息.Bordesetal.（2011）[3]提出了一種利用神經(jīng)網(wǎng)絡(luò)和知識(shí)庫(kù)（knowledgebase）學(xué)習(xí)

5、介個(gè)化信息嵌入（StructuredEmbeddings）的方法，該方法在WordNet和Freebase上的實(shí)驗(yàn)結(jié)果表明其可以對(duì)結(jié)構(gòu)化信息進(jìn)行嵌入表示.Mikolovetal.（2013）[4]提出了連續(xù)詞袋模型（continuousbagofwords，CBOW），該模型使用句子中某個(gè)詞位置周?chē)脑~來(lái)預(yù)測(cè)該詞；該工作還同時(shí)提出了skipgram模型，該模型可以利用句子中某個(gè)位置的詞預(yù)測(cè)其周?chē)脑~.基于這兩個(gè)模型，Mikolovetal.[4]開(kāi)源了工具word2vec4，用來(lái)訓(xùn)練詞向量，該工具已經(jīng)得到了廣泛應(yīng)用.Kim（2014）[5]將卷積神經(jīng)網(wǎng)絡(luò)引入自然語(yǔ)言處理的句

6、子匪類(lèi)任務(wù).該工作利用一個(gè)具有兩個(gè)通道（channel）的卷積神經(jīng)網(wǎng)絡(luò)對(duì)句子進(jìn)行特征提取，最后對(duì)提取的特征進(jìn)行匪類(lèi).實(shí)驗(yàn)結(jié)果表明卷積神經(jīng)網(wǎng)絡(luò)在對(duì)自然語(yǔ)言進(jìn)行特征提取方面具有顯著的效果.基于長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)，Sutskeveretal.（2014）[6]提出了序列到序列（sequencetosequence）模型，在該文章中，序列到序列模型被應(yīng)用于機(jī)器翻譯任務(wù).該模型使用了兩個(gè)長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)分別作為編碼器（encoder）和解碼器（decoder）.在編碼器部分，該網(wǎng)絡(luò)在每個(gè)時(shí)候讀取一個(gè)源語(yǔ)言詞匯，直到讀取至一個(gè)結(jié)束符，即得到了該序列的一個(gè)表示.將源語(yǔ)言序列編碼完成后，

7、使用源語(yǔ)言序列的編碼表示初始化編碼器.使用遞歸神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)模型，即可解碼出相應(yīng)的目標(biāo)語(yǔ)言序列.該模型十分新穎，并且在機(jī)器翻譯任務(wù)中取得了與傳統(tǒng)方法可比較的BLEU值.Taietal.（2015）[7]提出了樹(shù)狀長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò).由于傳統(tǒng)的遞歸神經(jīng)網(wǎng)絡(luò)通常用于處理線(xiàn)性序列，而對(duì)于自然語(yǔ)言這種有著內(nèi)在結(jié)構(gòu)的數(shù)據(jù)類(lèi)型，這種線(xiàn)性的模型可能一些信息丟失.因此，該模型將長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)用于分析樹(shù)中，并在情感分類(lèi)（sentimentanalysis）取得了良好的效果.4.深度學(xué)習(xí)在自然語(yǔ)言處理領(lǐng)域的典型應(yīng)用相比于圖像和語(yǔ)音