資源描述：
《淺談基于特征選擇的文本聚類方法》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、淺談基于特征選擇的文本聚類方法一一以《TextClusteringwithFeatureSelectionbyUsingStatisticalData》為例摘要：基于特征選擇的文本聚類方法不僅能夠降低文本數(shù)據(jù)空間的維度，而且能夠顯著提高文本聚類的性能。以〈〈TextClusteringwithFeatureSelectionbyUsingStatisticalData》為例，對基于特征選擇的文本聚類方法進(jìn)行典型分析，并在此基礎(chǔ)上，對《TextClusteringwithFeatureSelectionbyUsingStatis
2、ticalData》進(jìn)行簡要評價，認(rèn)為如何在實(shí)際應(yīng)用屮更好地引入學(xué)習(xí)機(jī)制，將特征選擇融入到文本聚類中，從而提高文本聚類效率是一個好的研究方向。關(guān)鍵詞：特征選擇；文本聚類；K-means算法1引言文本聚類是文本挖掘和信息檢索領(lǐng)域的核心問題之一。它完全根裾文本文檔的內(nèi)容相關(guān)性來組織文檔集合，將整個集合聚集成若干個類，并使得屬于同一類的文檔盡量相似，屬于不同類的文檔差別明顯。文本聚類方法可以分為等級聚類法和動態(tài)聚類法，主要應(yīng)用于自動摘要、文本的自動組織、搜索結(jié)果聚類等方面［1］。文本聚類是一種無監(jiān)晉的學(xué)習(xí)方法，文本缺少有監(jiān)督特征選擇
3、所必須的類別信息。因此,有監(jiān)督的特征選擇方法在文本分類上取得了成功，但是卻很少用于文木聚類屮。然而，若能夠有效將有監(jiān)督的特征選擇方法應(yīng)用在文本聚類上，則能夠顯著提高文本聚類的性能。因此，如何將有監(jiān)督的特征選擇方法應(yīng)用于文本聚類成為了一個新的研宄熱點(diǎn)。目前，國外學(xué)者在此方面進(jìn)行丫大量研宄，并取得丫較為豐厚的結(jié)果。如Jos€MartinezSotocar21,YanjunLi131,P.Santhi141等。相較而言，國內(nèi)學(xué)者的研宂熱點(diǎn)還主要集中在單獨(dú)對特征選擇方法改進(jìn)或聚類算法改進(jìn)上。如樊東輝，王治和［5］等提出了一種利用特征詞
4、的熵函數(shù)加權(quán)的權(quán)伉的計算方法，考察特征詞的文檔頻數(shù)和在文檔中出現(xiàn)的次數(shù)，使選出的特征子集更具有較好的代表性，從而改善聚類結(jié)果。胡玉嫻161則提山基于《知網(wǎng)》特征詞合并算法，通過合并具有高度相似性的特征詞，有效降低特征向量維度，使得聚類結(jié)果較為穩(wěn)定。誠然，國內(nèi)也有少數(shù)學(xué)者對基于特征選擇的文本聚類進(jìn)行研宂，比較具有代表性的有劉濤、吳功宜和陳正［71的《一種高效的用于文本聚類的無監(jiān)督特征選擇算法》。下面，筆者以國外學(xué)者YanjunLi,CongnanLuo,Chung,S.M的《TextClusteringwithFeatureSe
5、lectionbyUsingStatisticalData》為代表，進(jìn)行典型分析，并在.此基礎(chǔ)上進(jìn)行簡評，以期為今后學(xué)術(shù)界在文本聚類上的研究提供一定的參考。2典型分析從文木數(shù)裾收集與處理、特征項(xiàng)選擇、聚類算法實(shí)現(xiàn)、聚類結(jié)果分析等四個方而對YanjunLi，CongnanLuo,Chung,S.M所寫的《TextClusteringwithFeatureSelectionbyUsingStatisticalData》進(jìn)行分析。2.1文本數(shù)據(jù)收集、處理與表示2.11文本數(shù)據(jù)收集與處理YanjunLi等從CACMandMEDLINE
6、摘要文本和Reuters-21578Distribution1.0兩個不同類型的數(shù)據(jù)庫中提取了5個用于測試的數(shù)據(jù)集，其中2個數(shù)據(jù)集來自于前者，另外三個數(shù)據(jù)集來自Reuters-21578Distribution1.0中的EXCHANGE、PEOPLE、TOPIC分類集。在進(jìn)行聚類實(shí)驗(yàn)之前，利川停川詞表刪除了文本數(shù)據(jù)集中出現(xiàn)的停用詞。各文本數(shù)據(jù)集中的文檔都已經(jīng)提前被分類到了某一個唯一類中，但是，在聚類的過程中，這些信息是被隱藏的，提前分類的結(jié)果僅僅用于后面對聚類結(jié)果準(zhǔn)確度的評價。2.12文本數(shù)據(jù)的表示文本聚類面臨的首要問題是如何
7、將文本內(nèi)容表示為使用計算機(jī)可以分析處理的形式，即文木數(shù)裾的表示方法。目前國A外學(xué)者通常采用的是14量空間模型，從文木屮提取特征詞構(gòu)成特征向量，并計算出每個特征詞在各個文檔中的權(quán)重。如果把特征列表看作一個N維的坐標(biāo)系，那么坐標(biāo)值就對應(yīng)為各維的權(quán)重，文本集中的每一個文襠就可以看作是N維空間巾的一個向量，這樣就把文檔表示成為計算機(jī)可以處理的形式了。YanjunLi等采用的正是向量空間模型。2.2特征項(xiàng)選擇常用的特征選擇方法有信息增益、互信息、x2統(tǒng)計量、期望交叉熵、單詞權(quán)、單詞貢獻(xiàn)度［11。但是在眾多的特征選擇方法中，有學(xué)者指出IG
8、(信息增益)和CHI(x2統(tǒng)計量)的效果最好［81,而IG計算量相對其它幾種方法較大，因此YanjunLi等針對0前特征選擇方法巾效果最好x2統(tǒng)計方法進(jìn)行研宄和改進(jìn)。他們在研宂中發(fā)現(xiàn)了以下兩個問題：其一，CH1降低了低頻詞的權(quán)重。x2統(tǒng)計方法不能準(zhǔn)確地保留往往是某類特有的，具
