用于文本分類和文本聚類的特征抽取方法的研究

《用于文本分類和文本聚類的特征抽取方法的研究》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。

1、用于文本分類和文本聚類的特征抽取方法的研究Thestudyoffeatureextractionmethodintextclassificationandtextclustering1,2(1.山東大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院;2.山東電子職業(yè)技術(shù)學(xué)院)孟春艷Meng,ChunYan摘要：文本信息處理已成為一門日趨成熟、應(yīng)用面日趨廣泛的學(xué)科。文本分類和聚類技術(shù)是應(yīng)信息檢索和查詢需要而出現(xiàn)的自然語言處理領(lǐng)域的重要研究課題。面對(duì)急速膨脹的各種文本信息，通過使用文本分類和聚類技術(shù)，人們能對(duì)這些信息進(jìn)行高效地組織和整理，以便于實(shí)現(xiàn)信息的準(zhǔn)確定位和分流，從而提高用戶查詢和檢索的效率。本文針對(duì)文本信息處理中最

2、重要的研究方向——文本分類和聚類技術(shù)展開了研究，分析了特征抽取法在文本分類和文本聚類中應(yīng)用的重要性，以及論證了為何要對(duì)文本進(jìn)行特征抽取，最后分別闡述了用于文本分類和文本聚類的特征抽取方法。Abstract:Textinformationprocessinghasbecomeanincreasinglymaturedisciplinewithincreasinglywiderangeofapplications.Textclassificationandclusteringtechnologyisanimportantresearchtopicfortheneedsofinformationre

3、trievalandqueryinthenaturallanguageprocessingareas.Withtherapidexpansionofthevarioustextmessages,throughtheuseoftextclassificationandclusteringtechnology,peoplecansoefficientlyorganizeandmanagetheinformationthatpeoplecanachieveanaccuratepositioninginformationanddiversion,andtherebyenhancingtheuser's

4、queryandretrievalefficiency.Inthispaper,informationprocessinginthetextofthemostimportantresearchdirection-textclassificationandclusteringtechnologystartofthestudy.Analysistheimportanceofthefeatureextractionmethodinthetextclassificationandclustering,anddemonstratedwhyhavefeatureextractiononthetext,re

5、spectively,forthefinaltextonhowthefeatureextractionmethodappliedintextclassificationandclustering.關(guān)鍵詞：文本分類；文本聚類；特征抽??；中圖分類號(hào)：TP311文獻(xiàn)標(biāo)識(shí)碼：Akeywords:textClassification;textclustering;featureextraction1、引言隨著網(wǎng)絡(luò)的飛速發(fā)展和普及，無論是網(wǎng)絡(luò)信息、企業(yè)信息還是個(gè)人信息，它們的信息量都在急速地膨脹。網(wǎng)絡(luò)信息量雖然巨大，但是對(duì)99%的用戶來說99%的信息都是無用信息，所以要想在網(wǎng)絡(luò)中通過相關(guān)鏈接來找到所需的信

6、息無異與大海撈針。雖然現(xiàn)在有很多搜索引擎能幫助人們快速地尋找相應(yīng)的信息，但是即使是目前最優(yōu)秀的搜索引擎Google，也很難讓用戶對(duì)準(zhǔn)確搜索感到滿意，因?yàn)榇蟛糠值乃阉鞫己芸赡芊祷爻汕先f的結(jié)果而正確的結(jié)果往往又很難出現(xiàn)在前10個(gè)或者前20個(gè)結(jié)果中以至于用戶不得不花大量的時(shí)間來繼續(xù)在搜索結(jié)果中挑選可能正確的信息。因此迫切需要研究出更為先進(jìn)的技術(shù)來管理和組織這些信息，那么這些技術(shù)中最為重要的兩個(gè)技術(shù)就是文本分類和文本聚類。文本分類和文本聚類是文本數(shù)據(jù)挖掘中兩個(gè)非常重要1的技術(shù)，它們已經(jīng)被廣泛地應(yīng)用于信息管理、搜索引擎、推薦系統(tǒng)等多個(gè)領(lǐng)域，所以，我們重點(diǎn)研究如何運(yùn)用特征抽取方法來進(jìn)行文本分類和文本聚類

7、，從而更好地組織和管理龐雜的信息。2、特征抽取方法在文本分類和文本聚類應(yīng)用中的重要性1陳濤，謝陽群，文本分類中的特征降維的方法綜述[J]，情報(bào)學(xué)報(bào)，2005，24(6)；2文本分類解決的是將一個(gè)未知的文本分到一個(gè)或多個(gè)已經(jīng)確定的主題類別中。文本聚類被稱為自動(dòng)文本分類，它是指在沒有任何預(yù)知信息的情況下，將一堆文本中相似的文本聚在一起，將不相似的文本分開，從而自動(dòng)形成多個(gè)文本類。文本數(shù)據(jù)的向量空間模型