基于統(tǒng)計方法的漢語依存句法分析研究

基于統(tǒng)計方法的漢語依存句法分析研究

ID:36656167

大?。?.18 MB

頁數:138頁

時間:2019-05-13

基于統(tǒng)計方法的漢語依存句法分析研究_第1頁
基于統(tǒng)計方法的漢語依存句法分析研究_第2頁
基于統(tǒng)計方法的漢語依存句法分析研究_第3頁
基于統(tǒng)計方法的漢語依存句法分析研究_第4頁
基于統(tǒng)計方法的漢語依存句法分析研究_第5頁
資源描述:

《基于統(tǒng)計方法的漢語依存句法分析研究》由會員上傳分享,免費在線閱讀,更多相關內容在學術論文-天天文庫。

1、工學博士學位論文基于統(tǒng)計方法的漢語依存句法分析研究ResearchonChineseDependencyParsingBasedonStatisticalMethods馬金山哈爾濱工業(yè)大學2007年12月國內圖書分類號:TP391.2國際圖書分類號:681.37工學博士學位論文基于統(tǒng)計方法的漢語依存句法分析研究博士研究生:馬金山導師:李生教授副導師:劉挺教授申請學位級別:工學博士學科、專業(yè):計算機應用技術所在單位:計算機科學與技術學院答辯日期:2007年12月授予學位單位:哈爾濱工業(yè)大學ClassifiedIndex:TP391.2U.D.C.:681.

2、37ADissertationfortheDegreeofD.EngResearchonChineseDependencyParsingBasedonStatisticalMethodsCandidate:MaJinshanSupervisor:Prof.LiShengAssociateSupervisor:Prof.LiuTingAcademicDegreeAppliedfor:DoctorofEngineeringSpecialty:ComputerApplicationTechnologyAffiliationSchoolofComputerSci

3、enceandTechnologyDateofOralExamination:December,2007University:HarbinInstituteofTechnology摘要摘要句法分析的任務是根據給定的語法,自動推導出句子的語法結構。句法分析性能的提高將對信息檢索、信息抽取以及機器翻譯等應用產生重要的推動作用。在句法分析的研究中,依存語法以其形式簡潔、易于標注、便于應用等優(yōu)點,逐漸受到研究人員的重視。目前,已經被自然語言處理領域的許多專家和學者所采用,應用于多種語言之中。但由于語料資源以及技術等原因,漢語在依存句法分析方面的相關研究并不多。為

4、了彌補這方面的不足,本文使用基于語料庫的統(tǒng)計學習方法,對漢語的依存句法分析技術進行了探索。本文的工作分五個部分,具體內容如下:1.實現了一個包含分詞和詞性標注的詞法分析系統(tǒng),并增加了動詞子類標注的功能。區(qū)分動詞的語法屬性是為了減少由動詞引起的語法歧義,降低句法結構的復雜度。本文首先制定了一個動詞細分類體系,將動詞分為8個子類,然后使用最大熵的方法對動詞進行子類標注,用以改善句法分析的性能。2.名詞復合短語是各種語言中的普遍存在的一種語法結構,對信息抽取、機器翻譯等應用有很大的影響。由于傳統(tǒng)的句法分析對此類結構的處理不夠理想,本文對名詞復合短語進行專門處理

5、,以降低句法分析的難度。針對漢語名詞復合短語的特點,本文提出一種基于隱馬爾科夫樹模型的名詞復合短語分析方法,較好地解決了此類短語對句法分析的影響。3.句法分析對句子的長度非常敏感,隨著長度的增加,句法分析的效率以及準確率均會受到嚴重的影響。為了減少句子長度的影響,本文對句子片段進行識別。先將句子劃分為多個片斷,并使用基于支持向量機的方法對每個片斷類型進行識別;然后對片段進行依存分析,再識別出各片斷之間的依存關系,最后將各個片斷組合為一個完整的分析樹。4.根據漢語的特點,探索了一個高效的漢語依存句法分析算法。針對漢語語法結構靈活、樹庫資源不是非常充分的情況

6、,本文使用分治策略對句子中的一些特定語法結構進行預處理。在搜索算法上,使用動態(tài)局部優(yōu)化的確定性分析算法對句子進行解碼,提高了搜索的效率。5.為了檢驗漢語依存句法分析方法的擴展性,并探索單語依存分析同多─I─哈爾濱工業(yè)大學工學博士學位論文語依存分析的不同之處,本文實現了一個基于分步策略的多語依存分析系統(tǒng),并在CoNLL2006的數據集上進行了實驗。通過對實驗結果的分析以及同評測結果的比較,驗證了本文方法的有效性。關鍵詞漢語句法分析;依存語法;名詞復合短語;動態(tài)局部優(yōu)化;多語依存分析─II─AbstractAbstractThegoalofparsingis

7、toderivethesyntacticstructuresofsentenceaccordingtoacertaingrammar.Theimprovementofparsingwillgiveanenormousimpetustonaturallanguageprocessingapplicationssuchasinformationretrieval,informationextractionandmachinetranslation.Thestatisticalparsingcommunityhasbeguntoreachoutfordepen

8、dencygrammarthatiseasytounderstand,annot

當前文檔最多預覽五頁,下載文檔查看全文

此文檔下載收益歸作者所有

當前文檔最多預覽五頁,下載文檔查看全文
溫馨提示:
1. 部分包含數學公式或PPT動畫的文件,查看預覽時可能會顯示錯亂或異常,文件下載后無此問題,請放心下載。
2. 本文檔由用戶上傳,版權歸屬用戶,天天文庫負責整理代發(fā)布。如果您對本文檔版權有爭議請及時聯系客服。
3. 下載前請仔細閱讀文檔內容,確認文檔內容符合您的需求后進行下載,若出現內容與標題不符可向本站投訴處理。
4. 下載文檔時可能由于網絡波動等原因無法下載或下載錯誤,付費完成后未能成功下載的用戶請聯系客服處理。