資源描述：
《中文文本分類中特征提取算法研究》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。
1、重慶大學(xué)碩士學(xué)位論文中文文本分類中特征提取算法研究姓名：彭時(shí)名申請(qǐng)學(xué)位級(jí)別：碩士專業(yè)：計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)指導(dǎo)教師：張玉芳20060401重慶大學(xué)碩士學(xué)位論文中文摘要摘要隨著網(wǎng)絡(luò)和信息技術(shù)的飛速發(fā)展，人們可獲得的知識(shí)越來(lái)越多，但是面對(duì)具體的知識(shí)，要在這浩瀚的信息世界中快速獲得卻是很困難的。面對(duì)這一矛盾，人們想到了知識(shí)分類技術(shù)，這一技術(shù)的出現(xiàn)立即獲得了人們廣泛關(guān)注，同時(shí)知識(shí)分類中的文本分類也成為了研究的熱點(diǎn)。文本特征提取算法是文本分類中研究比較多，比較重要的問(wèn)題。本文通過(guò)分析傳統(tǒng)的TFIDF算法發(fā)現(xiàn)其存在如下
2、缺點(diǎn)：1)沒(méi)有考慮特征詞在類間的分布，如果一個(gè)特征詞，在各個(gè)類間分布比較均勻，這樣的詞對(duì)分類基本沒(méi)有貢獻(xiàn)；但是如果一個(gè)特征詞比較集中的分布在某個(gè)類中，而在其它類中幾乎不出現(xiàn)，這樣的詞卻能夠很好代表這個(gè)類的特征，然而傳統(tǒng)的TFIDF算法不能夠區(qū)分這兩種情況；2)沒(méi)有考慮特征詞在類內(nèi)部文檔中的分布情況。在類內(nèi)部的文檔中，如果特征詞均勻分布在其中，則這個(gè)特征詞能夠很好的代表這個(gè)類的特征，如果只在幾篇文檔中出現(xiàn)，而在此類的其它文檔中不出現(xiàn)，顯然這樣的特征詞不能夠代表這個(gè)類的特征。針對(duì)傳統(tǒng)的TFIDF算法的缺陷
3、，運(yùn)用特征詞在類間和類內(nèi)部的分布信息來(lái)改進(jìn)傳統(tǒng)的TFIDF算法。方差是描述隨機(jī)變量分布情況的指標(biāo)，本文用方差來(lái)描述特征詞在類間的分布情況。如果特征詞方差小，說(shuō)明其在類間的分布比較均勻，這樣的特征詞對(duì)分類貢獻(xiàn)不大，可以用方差來(lái)降低該特征詞的權(quán)重；而特征詞在類內(nèi)部的分布情況也可以用方差來(lái)描述，與類間分布不同的是，特征詞在類內(nèi)部分布方差越小，即在類內(nèi)部分布越均勻，特征詞越能代表此類，因此在修正TFIDF公式時(shí)，應(yīng)該將其TFIDF值調(diào)大。本文的另外一個(gè)工作是，將遺傳算法運(yùn)用到特征提取中。本文拋棄了傳統(tǒng)特征提取
4、方法為每個(gè)文檔進(jìn)行特征提取的思想，而是為每個(gè)類進(jìn)行特征提取。首先用常用的特征提取算法量化各個(gè)特征詞的權(quán)重，然后用遺傳算法來(lái)修正特征詞的權(quán)重，直到為每個(gè)類訓(xùn)練出能夠代表本類的特征向量(又叫分類器)，最后用這些類的特征向量進(jìn)行分類。為了驗(yàn)證提出的改進(jìn)TFIDF方法的正確性及其遺傳算法用于中文文本分類的效果，本文進(jìn)行了兩個(gè)實(shí)驗(yàn)：1)將傳統(tǒng)的和改進(jìn)的算法提取的特征詞用于KNN算法分類的對(duì)比實(shí)驗(yàn)；2)將遺傳算法用于特征提取的實(shí)驗(yàn)結(jié)果和KNN分類結(jié)果比較。實(shí)驗(yàn)一結(jié)果表明無(wú)論從整體混淆矩陣、總體查全率、查對(duì)率、以及
5、各個(gè)類的查全率、查對(duì)率方面，改進(jìn)方法都要優(yōu)于TFIDF傳統(tǒng)算法；實(shí)驗(yàn)二結(jié)果顯示：遺傳算法作為特征提取的分類結(jié)果和KNN方法的分類結(jié)果相當(dāng)，并且略好于KNN分類I重慶大學(xué)碩士學(xué)位論文中文摘要結(jié)果。實(shí)驗(yàn)證明，本文改進(jìn)的TFIDF算法是成功的，正確的，并且是可行的；遺傳算法在一個(gè)類范圍類進(jìn)行特征提取的策略是可行的。關(guān)鍵詞：特征提取，特征向量，向量空間模型，遺傳算法II重慶大學(xué)碩士學(xué)位論文英文摘要ABSTRACTPeoplecangainmoreandmoreknowledgealongwiththefast
6、developmentofthenetworkandinformationtechnology.However,inthefaceofspecificknowledge,itisdifficulttoobtainitquicklyinthevastworldofinformation.Whentheymeetthecontraction,technicalknowledgeclassificationoccurstothepeople,anditimmediatelywinswideconcernas
7、soonasitemerges.Atthesametime,documentclassificationwhichisoneofclassificationofknowledgebecomeshotresearch.Featureselectionalgorithmisanimportantissueindocumentclassification.ThetraditionalTFIDFalgorithmismainlystudiedinthispaperandisfoundthatithasseve
8、rallimitations:1)itdoesnottakeintoaccounttheinter-categorydistributionofthefeatureterms.Ifafeaturetermisevenlydistributedamongcategories,italmosthasnocontributiontotheclassification,converselyifafeaturetermisconcentratedlydistrib
