資源描述：
《基于無監(jiān)督聚類和樸素貝葉斯分類的文本分類方法研究》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、Y‘872072分賚蟮：TPtSl街級(jí)：睢忙代碼：學(xué)吁：憩√▲東歲，番碩士學(xué)位論文10422200211611Shai'ldongUniversityMaster’sThesiS論文題m基于無監(jiān)督聚類和樸素貝葉斯分類的文本分類方法研究作者姓名祝壁蟄專業(yè)一．讓茸瓤藪往與理論指導(dǎo)教師姓名睪業(yè)技術(shù)職務(wù)葛盎盎剖越授一2005年4』j5Il山東大掌碩士學(xué)位論文摘要在現(xiàn)實(shí)世界中，我們可獲得的大部分信息都是以諸如書籍、研究論文、新聞、數(shù)字圖書、Web頁面及電子郵件等各種形式出現(xiàn)的．這些形式的信息通常稱為文本信息，它們由來自各種數(shù)據(jù)源的大量文
2、檔組成，主要存儲(chǔ)在文本數(shù)據(jù)庫中。文本數(shù)據(jù)庫中存儲(chǔ)最多的數(shù)據(jù)是半結(jié)構(gòu)化數(shù)據(jù)，它既不是完全無結(jié)構(gòu)的也不是完全結(jié)構(gòu)化的。據(jù)統(tǒng)計(jì)，80％以上的數(shù)據(jù)都是以非完全結(jié)構(gòu)化的形式存在，而且由于電子形式的信息量也正在迅猛增長，使得文本數(shù)據(jù)庫得到迅速的發(fā)展。為了在這些海量的、異質(zhì)的、非結(jié)構(gòu)化的數(shù)據(jù)源中提取感興趣的、潛在的有用模式和隱藏的信息，也需要對(duì)文本信息進(jìn)行數(shù)據(jù)挖掘，這就是文本挖掘。隨著文本數(shù)據(jù)的迅速增長，文本挖掘已經(jīng)成為了數(shù)據(jù)挖掘領(lǐng)域的一個(gè)重要的研究方向。通過數(shù)據(jù)挖掘，可以從大量的數(shù)據(jù)中提取或發(fā)現(xiàn)知識(shí)。模式則是知識(shí)的一種表述形式。所以無論是
3、在數(shù)據(jù)挖掘中，還是在文本挖掘中，模式挖掘都是其中的一個(gè)重要環(huán)節(jié)。分類和聚類是兩種常見模式挖掘的方法。無監(jiān)督文本聚類算法(UTC)是一種把無監(jiān)督聚類算法(uc)用于文本聚類的方法。算法通過指定聚類半徑R，分別對(duì)每類文本進(jìn)行聚類并獲得聚類中心；然后，把聚類中心作為對(duì)文本的預(yù)分類：即對(duì)任意文本，計(jì)算其與各聚類中心的距離；找到與其距離最近的聚類中心后，該聚類中心所對(duì)應(yīng)的類就是文本的所屬類。該方法的特點(diǎn)是分類速度快，但準(zhǔn)確率較低。樸素貝葉斯分類以其堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ)和豐富的概率表達(dá)能力，尤其是它能充分利用先驗(yàn)信息的特性越來越受到人們的重視，
4、成為數(shù)據(jù)挖掘領(lǐng)域中的一個(gè)熱點(diǎn)，在數(shù)據(jù)挖掘中具有廣泛的應(yīng)用。論文在分析無監(jiān)督文本聚類和樸素貝葉斯分類特點(diǎn)的基礎(chǔ)上，提出了一個(gè)對(duì)不帶任何類別標(biāo)志的文本進(jìn)行準(zhǔn)確分類的方法。采用向量空間模型(VSM)來對(duì)待分類的文本進(jìn)行表示，即將文本表示成在行維向量空間中的一個(gè)點(diǎn)。指定聚類半徑R，利用無監(jiān)督文本聚類方法進(jìn)行聚類，獲得文本類別標(biāo)志集合和聚類的正例中心和反例中心，然后把聚類結(jié)果中的那些處在包含正例中心區(qū)域內(nèi)的文本作為訓(xùn)練樣本來對(duì)樸素貝葉斯分類器進(jìn)行訓(xùn)練，最后再將在聚類結(jié)果中處山東大學(xué)碩士學(xué)位論文在模糊區(qū)域的文本交給訓(xùn)練好的樸素貝葉斯分類器
5、進(jìn)行重新分類。該方法避免了對(duì)文本的人工預(yù)分類，而且得到了較好的分類結(jié)果，提高了分類精度。本文所做工作：1．描述了文本挖掘的一般過程，著重介紹了模式挖掘中的聚類和分類技術(shù)．2．分析了無監(jiān)督文本聚類和樸素貝葉斯分類方法的特點(diǎn)，將無監(jiān)督文本聚類方法和樸素貝葉斯分類方法相結(jié)合，提出了一個(gè)對(duì)不帶任何類別標(biāo)志的文本進(jìn)行準(zhǔn)確分類的方法UNBTC。3．根據(jù)文本挖掘的一般過程，構(gòu)建了一個(gè)基于向量空間模型的文本自動(dòng)分類原型系統(tǒng)。4．在構(gòu)建的文本自動(dòng)分類原型系統(tǒng)中實(shí)現(xiàn)了算法UNBTC，驗(yàn)證了其對(duì)不帶任何類別標(biāo)志的文本進(jìn)行準(zhǔn)確分類的有效性。關(guān)鍵詞：文
6、本挖掘；無監(jiān)督文本聚類；樸素貝葉斯分類：向量空間模型；特征選擇ABSTRACTIntherealisticworldthemostinformationwegotisinvariousformofthebook，theresearchpaper,thenewspapeLthedigitalbook，theWebpagesande-mailandSOon．Theinformationaboveiscommonlycalledtextinformation．Theyaremadeofagreatdealofdocumentstha
7、tcomefromvariousdatasourcesandaremainlystoredinthetextdatabase．ThemostofinformationstoredinthetextdatabaseissemistructuredatathatiSneitherunstructurednorstructuredcompletelUItisreportedthat80percentofdataisintheformofsemistructuredata．Andthetextdatabaseisintherapidd
8、evelopmentbecauseoftheswiftriseoftheelectronicinformation．Dataminingshouldbeappliedtothetextinformationinordertoextracttheusefulpatterntha
