資源描述:
《基于knn的文本分類特征選擇與分類算法的研究與改進(jìn)》由會(huì)員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。
1、廈門大學(xué)學(xué)位論文原創(chuàng)性聲明本人呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下,獨(dú)立完成的研究成果。本人在論文寫作中參考其他個(gè)人或集體已經(jīng)發(fā)表的研究成果,均在文中以適當(dāng)方式明確標(biāo)明,并符合法律規(guī)范和《廈f-]jk學(xué)研究生學(xué)術(shù)活動(dòng)規(guī)范(試行)》。另外,該學(xué)位論文為()課題(組)的研究成果,獲得()課題(組)經(jīng)費(fèi)或?qū)嶒?yàn)室的資助,在()實(shí)驗(yàn)室完成。(請(qǐng)?jiān)谝陨侠ㄌ?hào)內(nèi)填寫課題或課題組負(fù)責(zé)人或?qū)嶒?yàn)室名稱,未有此項(xiàng)聲明內(nèi)容的,可以不作特別聲明。)聲明人(簽名):專鈕礅蜀謝忤S月似日廈門大學(xué)學(xué)位論文著作權(quán)使用聲明lYllIllll2illIll5lilll
2、U3lUl7IIIIll2ilIIH9H螋本人同意廈門大學(xué)根據(jù)《中華人民共和國(guó)學(xué)位條例暫行實(shí)施辦法》等規(guī)定保留和使用此學(xué)位論文,并向主管部門或其指定機(jī)構(gòu)送交學(xué)位論文(包括紙質(zhì)版和電子版),允許學(xué)位論文進(jìn)入廈門大學(xué)圖書館及其數(shù)據(jù)庫(kù)被查閱、借閱。本人同意廈門大學(xué)將學(xué)位論文加入全國(guó)博士、碩士學(xué)位論文共建單位數(shù)據(jù)庫(kù)進(jìn)行檢索,將學(xué)位論文的標(biāo)題和摘要匯編出版,采用影印、縮印或者其它方式合理復(fù)制學(xué)位論文。本學(xué)位論文屬于:()1.經(jīng)廈門大學(xué)保密委員會(huì)審查核定的保密學(xué)位論文,于年月曰解密,解密后適用上述授權(quán)。(√)2.不保密,適用上述授權(quán)。(
3、請(qǐng)?jiān)谝陨舷鄳?yīng)括號(hào)內(nèi)打“√”或填上相應(yīng)內(nèi)容。保密學(xué)位論文應(yīng)是已經(jīng)廈門大學(xué)保密委員會(huì)審定過的學(xué)位論文,未經(jīng)廈門大學(xué)保密委員會(huì)審定的學(xué)位論文均為公開學(xué)位論文。此聲明欄不填寫的,默認(rèn)為公開學(xué)位論文,均適用上述授權(quán)。)聲明人(簽名):{編確認(rèn)l夠年_月I可目摘要隨著信息技術(shù)的迅猛發(fā)展和日益普及,文本信息呈現(xiàn)指數(shù)級(jí)增長(zhǎng)。文本分類作為管理大量信息的重要技術(shù),能有效地解決信息混雜的難題,同時(shí)能夠讓用戶更準(zhǔn)確地檢索信息,在信息過濾與檢索、郵件分類和話題跟蹤等方面有很高的應(yīng)用價(jià)值,是數(shù)據(jù)挖掘領(lǐng)域的熱點(diǎn)技術(shù)。本文以提高KNN分類器性能為主要目標(biāo),
4、簡(jiǎn)要闡述文本分類定義、文本預(yù)處理、特征選擇、特征加權(quán)、分類方法和分類性能評(píng)估等,并且針對(duì)特征選擇、特征加權(quán)、分類方法進(jìn)行了深入研究并加以改進(jìn)。(1)提出了基于蟻群優(yōu)化算法的特征選擇。通過設(shè)計(jì)適應(yīng)度函數(shù)、轉(zhuǎn)移規(guī)則和信息素更新等,可以有效排除關(guān)聯(lián)特征和冗余特征,降低計(jì)算的空間與時(shí)間,提高計(jì)算精度,從而提高分類性能。(2)結(jié)合TF-RFIDF對(duì)有監(jiān)督特征加權(quán)進(jìn)行改進(jìn)。在有監(jiān)督特征加權(quán)方法TF.RF的基礎(chǔ)上,將相關(guān)性頻率(RF)和逆文檔頻率(IDF)結(jié)合,提出TF-RFIDF特征加權(quán)法,更好地利用了樣本分布和類別先驗(yàn)信息,從而提高文
5、本分類的性能。(3)結(jié)合關(guān)聯(lián)規(guī)則對(duì)KNN分類算法進(jìn)行改進(jìn)。該方法利用A研ori算法針對(duì)不同類別的訓(xùn)練樣本提取每個(gè)類別的頻繁特征集及其關(guān)聯(lián)的文本,為未知類別的文本確定適當(dāng)?shù)慕彅?shù)k,根據(jù)近鄰的類別確定未知文本的類別。改進(jìn)后的方法能夠較好地確定k值,并且能降低時(shí)間復(fù)雜度。實(shí)驗(yàn)表明,三個(gè)針對(duì)文本分類的算法改進(jìn)都能提高分類正確率,表明了算法的有效性。關(guān)鍵詞:文本分類;蟻群優(yōu)化算法;TF-RFIDF;KNN算法AbstractWiththerapiddevelopmentandinformationtechnology,thetext
6、informationincreasesexponentially.Asanimportanttechnologyofmanaginglargeamountofinformation,textclassificationisabletosolvetheproblemofchaoticinformationeffectively.Meanwhile,it’SconvenientforUSertoretrievetherequiredinformationaccurately.Consequently,thetextclassi
7、ficationpossesseshighvalueofapplicationvalueinthefieldofinformationretrieval,classificationandfilteringmails,trackingtopics,etc,havingbeenahotresearchfieldindatamining.FocusingonimprovingtheperformanceofKNNclassifier,thisdissertationintroducesthedefinitionoftextcat
8、egorization,preprocessingprocedureoftext,definitionandalgorithmsoffeatureselection,comparisonoftraditionalandsupervisedtermweighting,textclassifi