中文文本分類(lèi)中特征選擇算法及分類(lèi)算法的研究

《中文文本分類(lèi)中特征選擇算法及分類(lèi)算法的研究》由會(huì)員上傳分享，免費(fèi)在線(xiàn)閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。

1、工學(xué)碩士學(xué)位論文中文文本分類(lèi)中特征選擇算法 及分類(lèi)算法的研究遲麟燕山大學(xué)2009年12月萬(wàn)方數(shù)據(jù)國(guó)內(nèi)圖書(shū)分類(lèi)號(hào)：TP391.1國(guó)際圖書(shū)分類(lèi)號(hào)：621.38工學(xué)碩士學(xué)位論文中文文本分類(lèi)中特征選擇算法 及分類(lèi)算法的研究碩士研究生：遲麟導(dǎo)師：劉文遠(yuǎn)教授申請(qǐng)學(xué)位級(jí)別：工學(xué)碩士學(xué)科、專(zhuān)業(yè)：計(jì)算機(jī)軟件與理論所在單位：信息科學(xué)與工程學(xué)院授予學(xué)位單位：燕山大學(xué)萬(wàn)方數(shù)據(jù)ClassifiedIndex:TP391.1U.D.C.:621.38DissertationfortheMasterDegreeinEngineeringRESEARCHONFEATURE SE

2、LECTIONALGORITHMAND CLASSIFICATIONALGORITHMIN CHINESETEXTCATEGORIZTIONCandidate:ChiLinSupervisor:Prof.LiuWenyuan AcademicDegreeAppliedfor:MasterofEngineering Speciality:Computersoftware University:YanshanUniversity萬(wàn)方數(shù)據(jù)燕山大學(xué)碩士學(xué)位論文原創(chuàng)性聲明本人鄭重聲明：此處所提交的碩士學(xué)位論文《中文文本分類(lèi)中特征選擇算法及分類(lèi)算法的研究》，

3、是本人在導(dǎo)師指導(dǎo)下，在燕山大學(xué)攻讀碩士學(xué)位期間獨(dú)立進(jìn)行研究工作所取得的成果。據(jù)本人所知，論文中除已注明部分外不包含他人已發(fā)表或撰寫(xiě)過(guò)的研究成果。對(duì)本文的研究工作做出重要貢獻(xiàn)的個(gè)人和集體，均已在文中以明確方式注明。本聲明的法律結(jié)果將完全由本人承擔(dān)。作者簽字：日期：年月日燕山大學(xué)碩士學(xué)位論文使用授權(quán)書(shū)《中文文本分類(lèi)中特征選擇算法及分類(lèi)算法的研究》系本人在燕山大學(xué)攻讀碩士學(xué)位期間在導(dǎo)師指導(dǎo)下完成的碩士學(xué)位論文。本論文的研究成果歸燕山大學(xué)所有，本人如需發(fā)表將署名燕山大學(xué)為第一完成單位及相關(guān)人員。本人完全了解燕山大學(xué)關(guān)于保存、使用學(xué)位論文的規(guī)定，同意學(xué)校保

4、留并向有關(guān)部門(mén)送交論文的復(fù)印件和電子版本，允許論文被查閱和借閱。本人授權(quán)燕山大學(xué)，可以采用影印、縮印或其他復(fù)制手段保存論文，可以公布論文的全部或部分內(nèi)容。保密□，在年解密后適用本授權(quán)書(shū)。本學(xué)位論文屬于不保密□。（請(qǐng)?jiān)谝陨舷鄳?yīng)方框內(nèi)打“√”）作者簽名：日期：年月日導(dǎo)師簽名：日期：年月日萬(wàn)方數(shù)據(jù)摘要近年來(lái)，隨著信息技術(shù)的迅速發(fā)展，特別是Internet的普及，網(wǎng)頁(yè)上的電子文本信息急劇增加，如何有效地組織和管理這些海量信息，并且能夠快速、準(zhǔn)確地獲得用戶(hù)所需要的信息是當(dāng)今信息資源管理技術(shù)領(lǐng)域的一大挑戰(zhàn)。通過(guò)文本自動(dòng)分類(lèi)技術(shù)的使用，可以使電子文本信息自動(dòng)的

5、按照類(lèi)別的方式進(jìn)行組織和管理，滿(mǎn)足人們方便快捷的信息處理需求，準(zhǔn)確定位所需信息資源。本文從分詞算法，特征選擇算法和文本分類(lèi)算法三個(gè)方面對(duì)文本分類(lèi)進(jìn)行深入研究。首先，通過(guò)分析預(yù)處理中中文文本分類(lèi)的特點(diǎn)，中文文本向量空間模型表示法，和兩種機(jī)械的分詞方法，在算法的詞典結(jié)構(gòu)、算法的匹配方式、算法對(duì)歧義詞的處理策略和算法識(shí)別未登錄詞的策略上改進(jìn)了分詞方法，并進(jìn)行了實(shí)驗(yàn)驗(yàn)證。其次，在文本預(yù)處理的基礎(chǔ)上，為了進(jìn)一步提高特征項(xiàng)對(duì)類(lèi)別的區(qū)分能力，本文分析了基于絕對(duì)比例區(qū)分(CPD)的特征選擇算法，分別在特征項(xiàng)的頻度和特征項(xiàng)的冗余兩個(gè)方面進(jìn)行改進(jìn)，提出了改進(jìn)的CPD

6、特征選擇算法，并通過(guò)實(shí)驗(yàn)進(jìn)行比較驗(yàn)證。最后，通過(guò)分析傳統(tǒng)的K最近鄰(KNN)分類(lèi)算法具有計(jì)算量巨大和當(dāng)類(lèi)別間有較多共性，即訓(xùn)練樣本間有較多特征交叉現(xiàn)象時(shí)，KNN分類(lèi)的精度將下降的兩點(diǎn)不足，提出了改進(jìn)的KNN文本分類(lèi)算法，并在中文文本分類(lèi)語(yǔ)料庫(kù)--TanCorpV1.0和搜狐互聯(lián)網(wǎng)網(wǎng)頁(yè)語(yǔ)料庫(kù)兩種數(shù)據(jù)集上，通過(guò)實(shí)驗(yàn)與傳統(tǒng)的KNN算法進(jìn)行比較驗(yàn)證。關(guān)鍵詞文本分類(lèi)；分詞算法；特征選擇；絕對(duì)比例區(qū)分；K最近鄰；查準(zhǔn)率；查全率萬(wàn)方數(shù)據(jù)AbstractInrecentyears,withtherapiddevelopmentofinformationtechn

7、ology,especiallyinthepopularityofInternet,dramaticincreasinglyinwebpagesofelectronictextinformation,howtoeffectivelyorganizeandmanagethesevastamountsofinformation,andhowtoquicklyandaccuratelyobtaintheinformationneededbyusersintoday'sinformationresourcemanagementtechnologyisab

8、igchallenge.Byusingtheautomatictextclassificationtechniques,electron