資源描述：
《中文文本分類中特征選擇算法及分類算法的研究》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、工學(xué)碩士學(xué)位論文中文文本分類中特征選擇算法
及分類算法的研究遲麟燕山大學(xué)2009年12月萬方數(shù)據(jù)國內(nèi)圖書分類號：TP391.1國際圖書分類號：621.38工學(xué)碩士學(xué)位論文中文文本分類中特征選擇算法
及分類算法的研究碩士研究生：遲麟導(dǎo)師：劉文遠(yuǎn)教授申請學(xué)位級別：工學(xué)碩士學(xué)科、專業(yè)：計算機軟件與理論所在單位：信息科學(xué)與工程學(xué)院授予學(xué)位單位：燕山大學(xué)萬方數(shù)據(jù)ClassifiedIndex:TP391.1U.D.C.:621.38DissertationfortheMasterDegreeinEngineeringRESEARCHONFEATURE
SE
2、LECTIONALGORITHMAND
CLASSIFICATIONALGORITHMIN
CHINESETEXTCATEGORIZTIONCandidate:ChiLinSupervisor:Prof.LiuWenyuan
AcademicDegreeAppliedfor:MasterofEngineering
Speciality:Computersoftware
University:YanshanUniversity萬方數(shù)據(jù)燕山大學(xué)碩士學(xué)位論文原創(chuàng)性聲明本人鄭重聲明：此處所提交的碩士學(xué)位論文《中文文本分類中特征選擇算法及分類算法的研究》，
3、是本人在導(dǎo)師指導(dǎo)下，在燕山大學(xué)攻讀碩士學(xué)位期間獨立進(jìn)行研究工作所取得的成果。據(jù)本人所知，論文中除已注明部分外不包含他人已發(fā)表或撰寫過的研究成果。對本文的研究工作做出重要貢獻(xiàn)的個人和集體，均已在文中以明確方式注明。本聲明的法律結(jié)果將完全由本人承擔(dān)。作者簽字：日期：年月日燕山大學(xué)碩士學(xué)位論文使用授權(quán)書《中文文本分類中特征選擇算法及分類算法的研究》系本人在燕山大學(xué)攻讀碩士學(xué)位期間在導(dǎo)師指導(dǎo)下完成的碩士學(xué)位論文。本論文的研究成果歸燕山大學(xué)所有，本人如需發(fā)表將署名燕山大學(xué)為第一完成單位及相關(guān)人員。本人完全了解燕山大學(xué)關(guān)于保存、使用學(xué)位論文的規(guī)定，同意學(xué)校保
4、留并向有關(guān)部門送交論文的復(fù)印件和電子版本，允許論文被查閱和借閱。本人授權(quán)燕山大學(xué)，可以采用影印、縮印或其他復(fù)制手段保存論文，可以公布論文的全部或部分內(nèi)容。保密□，在年解密后適用本授權(quán)書。本學(xué)位論文屬于不保密□。（請在以上相應(yīng)方框內(nèi)打“√”）作者簽名：日期：年月日導(dǎo)師簽名：日期：年月日萬方數(shù)據(jù)摘要近年來，隨著信息技術(shù)的迅速發(fā)展，特別是Internet的普及，網(wǎng)頁上的電子文本信息急劇增加，如何有效地組織和管理這些海量信息，并且能夠快速、準(zhǔn)確地獲得用戶所需要的信息是當(dāng)今信息資源管理技術(shù)領(lǐng)域的一大挑戰(zhàn)。通過文本自動分類技術(shù)的使用，可以使電子文本信息自動的
5、按照類別的方式進(jìn)行組織和管理，滿足人們方便快捷的信息處理需求，準(zhǔn)確定位所需信息資源。本文從分詞算法，特征選擇算法和文本分類算法三個方面對文本分類進(jìn)行深入研究。首先，通過分析預(yù)處理中中文文本分類的特點，中文文本向量空間模型表示法，和兩種機械的分詞方法，在算法的詞典結(jié)構(gòu)、算法的匹配方式、算法對歧義詞的處理策略和算法識別未登錄詞的策略上改進(jìn)了分詞方法，并進(jìn)行了實驗驗證。其次，在文本預(yù)處理的基礎(chǔ)上，為了進(jìn)一步提高特征項對類別的區(qū)分能力，本文分析了基于絕對比例區(qū)分(CPD)的特征選擇算法，分別在特征項的頻度和特征項的冗余兩個方面進(jìn)行改進(jìn)，提出了改進(jìn)的CPD
6、特征選擇算法，并通過實驗進(jìn)行比較驗證。最后，通過分析傳統(tǒng)的K最近鄰(KNN)分類算法具有計算量巨大和當(dāng)類別間有較多共性，即訓(xùn)練樣本間有較多特征交叉現(xiàn)象時，KNN分類的精度將下降的兩點不足，提出了改進(jìn)的KNN文本分類算法，并在中文文本分類語料庫--TanCorpV1.0和搜狐互聯(lián)網(wǎng)網(wǎng)頁語料庫兩種數(shù)據(jù)集上，通過實驗與傳統(tǒng)的KNN算法進(jìn)行比較驗證。關(guān)鍵詞文本分類；分詞算法；特征選擇；絕對比例區(qū)分；K最近鄰；查準(zhǔn)率；查全率萬方數(shù)據(jù)AbstractInrecentyears,withtherapiddevelopmentofinformationtechn
7、ology,especiallyinthepopularityofInternet,dramaticincreasinglyinwebpagesofelectronictextinformation,howtoeffectivelyorganizeandmanagethesevastamountsofinformation,andhowtoquicklyandaccuratelyobtaintheinformationneededbyusersintoday'sinformationresourcemanagementtechnologyisab
8、igchallenge.Byusingtheautomatictextclassificationtechniques,electron
