資源描述：
《試論文本分類中特征選擇方法的研究》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、西安科技大學(xué)碩士學(xué)位論文文本分類中特征選擇方法的研究姓名：宋麗平申請學(xué)位級別：碩士專業(yè)：計算機應(yīng)用技術(shù)指導(dǎo)教師：張小艷20090422論文題目：專業(yè)：碩士生：指導(dǎo)教師：文本分類中特征選擇方法的研究計算機應(yīng)用技術(shù)宋麗平(簽名)寡盈墨張小艷(簽名)豸：!：麥壘摘要文本分類是大規(guī)模文本處理的基本功能，也是提高其他文本處理功能和質(zhì)量的有效手段。通過文本分類，人們可以按類別進(jìn)行文本存儲、檢索和進(jìn)一步處理。因此，迅速有效地對文本進(jìn)行分類已成為一項重要的研究課題。在文本分類中，特征空間的維數(shù)高達(dá)幾萬，過大的特征空間會導(dǎo)致樣本統(tǒng)計特性的評估變得困難，從而降低
2、分類器的泛化能力，因此從原始特征集中選取最具有代表性的特征是十分必要的。有效的特征選擇可以提高分類任務(wù)的效率和分類性能。本文在分析典型文本分類系統(tǒng)的核心技術(shù)、系統(tǒng)結(jié)構(gòu)的基礎(chǔ)上，給出了一種基于語義概念的分析方法。語義概念分析方法可以看作是一種擴(kuò)展的向量空間模型方法，其特征提取算法是通過結(jié)合Hownet對詞所表示的概念，將詞空間映射到概念空間，通過多義詞排歧和同義詞合并，達(dá)到降維的目的，并盡量達(dá)到詞與詞之間的正交性，將文本的關(guān)鍵詞用更小的語義空間進(jìn)行表示，使得在新生成的語義空間中的相關(guān)文本更為接近。另外，在傳統(tǒng)TF—IDF權(quán)重計算算法的基礎(chǔ)上，綜
3、合考慮特征詞的位置、同現(xiàn)頻率的語義因子和特征支持度、類別強度的語義概念，增強了特征對文本內(nèi)容的表現(xiàn)和區(qū)分能力，并將綜合了TF．IDF與語義因子和語義概念的權(quán)重改進(jìn)算法應(yīng)用到分類系統(tǒng)中。本文設(shè)計并實現(xiàn)了一個中文文本分類系統(tǒng)，通過實驗對改進(jìn)的特征選擇和權(quán)重計算算法與傳統(tǒng)統(tǒng)計算法進(jìn)行了比較分析，實驗結(jié)果表明改進(jìn)的特征選擇算法和權(quán)重計算算法對分類性能都有一定的提高，具有較高的精確率和召回率。關(guān)鍵詞：文本分類；語義概念；特征選擇；權(quán)重計算；向量空間模型研究類型：應(yīng)用研究Subject：AStudyontheMethodofFeatureSelectio
4、ninTextCategorizationSpecialty：ComputerAppl．cationTechnologyName：SonglipingInstructor：ZhangXiaoyanABSTRACT(Signature)Asthefundamentalfunctioninprocessinglargemountoftextdata,textcategorizationisalsoakindofeffectivewaytoimprovethefunctionandqualityofothertextprocessing．Furth
5、ermore，itCanbeusedascategorytextstorage，retrievalandfurtherprocessingthroughtextcategorization．Sothathasalreadybecomeasanimportanttaskofcarryingoutthetextcategorizationrapidlyandeffectually．Intextcategorization,thedimensionoffeaturespaceisaslargeastensofthousands．Overlargef
6、eaturespacecouldcausethedifficultyofevaluatingthestatisticalpropertiesofthesamples．Thereby，thatwouldreducethegeneralizationabilityofcategorizationmachine．Soit’Sextremelyimportanttochoosethemostrepresentativefeatureintheoriginalfeatureset．Effectivefeatureselectionwilladvance
7、theefficiencyandperformanceofcategorization．Inthispaper,akindofanalysismethodwhichbaseonsemanticconceptWasintroducedthroughanalyzingcoretechnologyandthesystemstructureofclassicsystemoftextcategorization．nleconceptofsemanticanalysisCanberegardedasanapproachofexpansionoftheve
8、ctorspacemodel．ThefeatureextractionalgorithmofthatiscomefromtheconceptofHownettoth
