基于循環(huán)神經(jīng)網(wǎng)絡(luò)的依存句法分析模型研究

《基于循環(huán)神經(jīng)網(wǎng)絡(luò)的依存句法分析模型研究》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、分類號密級ＵＤＣ論文編號㈱化Ｗ碩±學(xué)位論文論文題目：基于循＾不神經(jīng)網(wǎng)絡(luò)的依存句法分析模型研究研究生：張俊馳導(dǎo)師：胡捷副教授專業(yè)：系統(tǒng)分析與集成研究方向：自然語言處理２０１６年５月分類號：學(xué)校代號：１０５１２〇〇占＾學(xué)號：５＾＾１３出１０知湖北大學(xué)碩±學(xué)位論文基于循環(huán)神經(jīng)網(wǎng)絡(luò)的依存句法分析模型研巧作者姓名：張俊馳指導(dǎo)教師姓名、職稱：胡捷副教授，申請學(xué)位類別：理學(xué)碩±學(xué)科專業(yè)名稱：系統(tǒng)分析與集成研究方向；自然語言處理論文提交日期：２０１６

2、年４月１１日論文答辯日期：興年ｆ月日學(xué)位授予單位：湖北大學(xué)學(xué)位授予日期：年月曰答辯委員會主席：ＲｅｓｅａｒｃｈｏｎＲｅｃｕｒｒｅｎｔＮｅｕｒａｌＮｅｔｗｏｒｋｂａｓｅｄＤｅｐｅｎｄｅｎｃｙｐａｒｓｉｎｍｏｄｅｌｇＡＴｈｅｓｉｓＳｕｂｍｉｔｔｅｄｆｏｒｔｈｅＤｅｇｒｅｅｏｆＭａｓｔｅｒＣａｎｄｉｄａｔｅ；Ｚｈａｎｇ化ｎＣｈｉＳｕｅｒｖｉｓｏｒ：Ａ．Ｐｒｏｆ．ＨｕＪｉｅｐＨｕｂｅｉＵｎｉｖｅｒｓｉｔｙＷｕｈａｎ，Ｃｈｉｎａ學(xué)位論文使用授權(quán)書本論義作者完全了解

3、學(xué)校關(guān)于保存、使用學(xué)位論義的管理辦法及規(guī)定，即學(xué)極有權(quán)保留并向圍家有關(guān)卻口或機巧送交化文的復(fù)印件和電子版，允許論文被查閩和借閱。本人完全同意《中國博壬＂＂學(xué)粒論文全文數(shù)據(jù)庫出版牽稽》、《中國優(yōu)秀碩±學(xué)誼論文全文數(shù)據(jù)宰齒版竄稽》（Ｗ下簡稱章程，見ＷＷＷ．ｃｎｋｉ．ｎｅｔ）（光盤叛）運子雜志社在，愿意將本人巧學(xué)位論文提巧中國學(xué)術(shù)菊巧《中困巧擊學(xué)位論文全文數(shù)巧牽》、《中圖優(yōu)勞碩擊學(xué)位論文全文數(shù)據(jù)庫》中全文發(fā)表和Ｗ電子、網(wǎng)給及其他數(shù)ＣＮＫＩ字煤掉化式公開出版．并同意端Ａ《中國知識資源總癢》．在《中國博碩去學(xué)位論文巧化數(shù)場互聯(lián)＂＂

4、庫》中使用和在網(wǎng)上傳播，罔惠按章卷規(guī)定辜受相關(guān)權(quán)益（黃作者直操與雜志社聯(lián)系，聯(lián)００－６２７９－１８１７６２７９３１７６、６２７０１１７９８４系入：栗老師；電巧：１、；通訊難址：化京濟華大學(xué)郵局始０００８４）信箱采編中々郵編：１。一本授權(quán)書簽署。式互巧．史消北大學(xué)學(xué)誼評定寞員會本公室學(xué)泣論文作者簽名；導(dǎo)師簽《；狄絶曼也年ｇ月如日是年月扣曰巧北大學(xué)研究生學(xué)位論文作香語息淪文題目基于循環(huán)神經(jīng)網(wǎng)絡(luò)的依存句法分析摸型研究姓名張使艦學(xué)號２０１別１Ｕ０４０００６６０答辯日期２０１．６年５月２０日論＂

5、義沒別博生口碩壬因院計算機與信息工程專萊統(tǒng)分析與集成＾聯(lián)系電話作者Ｅ－ｍａｉ１作者通倍地址（含郵編）：備注；注：本論義如需巧密，保密巧別是，解密時間量牟月。（保密學(xué)誼淪文在瓣密盾適＿＿＿＿＿＿■用于本授權(quán)爺）基于循環(huán)神經(jīng)網(wǎng)絡(luò)的依存句法分析模型硏究摘要依存句法分析是自然語言處理的重要工作，對句子依存結(jié)構(gòu)分析的好壞直接影響系統(tǒng)更深層次分析句子的能力。傳統(tǒng)的句法分析模型，特征表示方法是將訓(xùn)練語料中出現(xiàn)的信息離散的字符串形式記錄，系統(tǒng)的性能主要依賴人工特征模板設(shè)計的優(yōu)劣。該方法存在數(shù)

6、據(jù)稀疏問題，并且大量的離散特征需要更多的內(nèi)存與計算資源，實際應(yīng)用中容。易產(chǎn)生模型過擬合？及＾＾分析速度不夠的問題本文根據(jù)現(xiàn)有依存句法分析器存在的不足，結(jié)合深度學(xué)習(xí)的詞語分布表示技術(shù)提出了新的依存句法分析模型，具體研究工作如下：（１）研究了傳統(tǒng)依存句法分析模型與詞語分布表示技術(shù)。首先介紹了依存句法分析的基本概念和常用分析方法。然后，對現(xiàn)有的神經(jīng)網(wǎng)絡(luò)語言模型及詞向量表示技術(shù)進斤理論分析。最后，它，闡述了近年來具有代表性的神經(jīng)網(wǎng)絡(luò)依存句法分析模型利用特征一分布表示技術(shù)取得了較好的效率和準確度ｉｌ進，但分析的準確度還可！＾步提高。

7、（２）提出并實現(xiàn)了循環(huán)神經(jīng)網(wǎng)絡(luò)依存句法分析模型。針對基于轉(zhuǎn)移的神經(jīng)網(wǎng)絡(luò)依存句法分析模型對當前動作決策只能利用有限窗口信息，無法捕捉詞語長距離依賴特征問題，提出并實現(xiàn)了基于循環(huán)神經(jīng)網(wǎng)絡(luò)的依存句法分析模型。從詞向量和詞性向量表示上進行改進，使用雙向長短時記憶單元作為網(wǎng)絡(luò)結(jié)構(gòu)的非線性變換層。實驗表明，該方法能夠減少系統(tǒng)設(shè)計的復(fù)雜性并提升依存句法分析性能。（３）提出并實現(xiàn)了基于編碼解碼的分層式依存句法分析模型。針對依存句法分析中一基于圖的方法和基于轉(zhuǎn)移的方法存在的問題，提出種編碼解碼依存句法分析模型，利一用循環(huán)神經(jīng)網(wǎng)絡(luò)對整

8、個句子進行編碼，將輸入句子映射到個低維向量空間。解碼階段，結(jié)合當前詞的上下文特征與己編碼的句子向量作為條件，共同決定當前詞的分類標記