資源描述：
《apriori算法在詞性標注規(guī)則獲取中的應(yīng)用》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、Apriori算法在詞性標注規(guī)則獲取中的應(yīng)用 摘要：人工方法獲取的規(guī)則準確率有待驗證，所以從數(shù)據(jù)挖掘的角度運用Apriori算法對詞性標注規(guī)則的獲取進行研究。用戶根據(jù)需求自定義支持度與置信度，在滿足規(guī)定支持度的前提下，先從候選集模式中挑選出高于支持度的模式，再挖掘出高于置信度的產(chǎn)生式規(guī)則，獲取的規(guī)則是隱含在數(shù)據(jù)中不易被發(fā)現(xiàn)的，其表達上是明確的。實驗表明，自動獲取的標注規(guī)則具有很好的利用價值，可以提高詞性標注的正確率?！ ￡P(guān)鍵詞：數(shù)據(jù)挖掘；Apriori算法；詞性標注；規(guī)則 中圖分類號：TP391文獻標志碼：A
2、文章編號：1006-8228（2016）10-32-04 ApplicationofApriorialgorithmtoobtainpart-of-speechtaggingrules MaRuyi ?。–omputerDepartmentQinghaiUniversityforNationalities，Xining，Qinghai810007，China） Abstract：Thecorrectrateoftheartificiallyobtainedrulesneedtobeverified，sofr
3、omthepointofviewofdatamining，usingApriorialgorithmtoobtaintherulesofpart-of-speechtaggingisresearchedinthispaper.Userdefinestheirsupportandconfidenceaccordingtotherequirements，inthepremiseofmeeting10thesupportprovided，amodethatishigherthanthesupportisselected
4、fromthecandidatemodeset，andtheproductionrulethatishigherthantheconfidenceisdugout，theruleishiddeninthedataandnoteasytobefound，butitsexpressionisclear.Experimentsshowthatthetaggingrulesautomaticallyobtainedhaveagoodutilityvalue，andcanimprovethecorrectrateofpar
5、t-of-speechtagging. Keywords：datamining；Apriorialgorithm；part-of-speechtagging；rule 0引言 數(shù)據(jù)挖掘[1]是從大量的數(shù)據(jù)中提取或“挖掘”知識。具體來說，數(shù)據(jù)挖掘就是從大量的、隨機的、模糊的、不完全的、有噪聲的數(shù)據(jù)中，提取隱含在其中的、潛在有用的、事先不為人知道的知識和信息的過程[2]。詞性標注是自然語言處理的一個重要環(huán)節(jié)，其任務(wù)是為句子中的每一個詞標注一個正確的詞性，此環(huán)節(jié)出現(xiàn)的錯誤，將在后續(xù)的句法分析、機器翻譯等處理中被放
6、大[3]。詞性標注迄今為止已經(jīng)有很多方法，有基于規(guī)則、統(tǒng)計以及規(guī)則與統(tǒng)計相結(jié)合的方法[4]?！ ∫?guī)則的獲取一般由人工整理集成，但這存在以下兩方面的問題[5]：①從規(guī)則的應(yīng)用范圍上看，靠人工的方法只可能產(chǎn)生一些共性規(guī)則，不可能產(chǎn)生針對個別情況的個性規(guī)則，而個性規(guī)則盡管應(yīng)用范圍小，但也是提高正確率的重要手段；②10由于人工方法獲取的規(guī)則準確率有待驗證，因此在基于統(tǒng)計方法正確率不易再提高的前提下，能否自動高效地獲取規(guī)則是實現(xiàn)詞性標注中的關(guān)鍵問題。 本文對于詞性標注規(guī)則的獲取不需要進行維數(shù)與層次分析，也不需要采用分而治
7、之的方法，而是采用了最基本的Apriori算法，從人工已標注好的語料中來研究詞性及詞的模式序列對詞性的影響。該方法與人們利用語料上下文中的詞、詞性等信息來對詞性進行判斷的方法是一致的。在統(tǒng)計語料規(guī)模較大的情況下，給定最小支持度及最小可信度后，首先挖掘大于最小支持度的常用模式集，然后生產(chǎn)關(guān)聯(lián)規(guī)則，若此規(guī)則的可信度大于最小可信度，則得到詞性規(guī)則。如果最小可信度定義的足夠高，則獲得的規(guī)則能夠作為概率方法的補充，從而較好地解決詞性標注問題。但由于該規(guī)則的挖掘是在文本數(shù)據(jù)中進行的，同時它又依賴于詞性與詞的各種組合，這使得其
8、挖掘過程較數(shù)據(jù)庫中的數(shù)據(jù)挖掘復(fù)雜得多[5]?！ ?Apriori算法及問題描述 1.1Apriori算法 Agrawal等人[6]于1993年首先提出了挖掘顧客交易數(shù)據(jù)庫中項集間的關(guān)聯(lián)規(guī)則問題，設(shè)計了基于頻繁集理論的Apriori算法[7]。Apriori算法是一種最有影響力的挖掘布爾關(guān)聯(lián)規(guī)則頻繁項集的算法。其核心是基于兩個階段頻繁項集思想的遞推算法，該算法的設(shè)計分解
