資源描述：
《一種基于群體智能的文本聚類算法》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、一種基于群體智能的Web文檔聚類算法吳斌 傅偉鵬鄭毅劉少輝 史忠植（中科院計算技術(shù)研究所智能信息處理開放實驗室北京100080）摘要 本文提出了一種基于群體智能的Web文檔聚類算法。首先運用向量空間模型表示W(wǎng)eb文檔信息，采用常規(guī)方法如消除無用詞和特征詞條約簡法則得到文本特征集，然后將文檔向量隨機分布到一個平面上，運用基于群體智能的聚類方法進(jìn)行文檔聚類，最后從平面上采用遞歸算法收集聚類結(jié)果。本文將算法的實驗結(jié)果與多層自組織特征映射算法的聚類結(jié)果進(jìn)行比較分析，分析表明基于群體智能的Web文檔聚類算法具有較好的聚類特性
2、，它能將與一個主題相關(guān)的Web文檔較完全和準(zhǔn)確地聚成一類。關(guān)鍵詞 群體智能，文檔聚類，自組織聚類，群體相似度ACLUSTERINGALGORITHMBASEDONSWARMINTELLIGENCEFORWEBDOCUMENTWubinFuweipengZhengyiLiuShaohuiShizhongzhiThelab.ofIntelligenceInformationProcessing,InstituteofComputingTechnology,CASAbstractAclusteringalgorithmb
3、asedonswarmintelligenceforwebdocumentisproposed.Firstly,Webdocumentswhicharedenotedbyvectorspacemodelwithreduceddocumentfeaturesetarerandomlyprojectedonaplane.Then,clusteringanalysisisprocessedbyaclusteringmethodbasedonswarmintelligence.Finally,theclusteringre
4、sultsarecollectedfromtheplanebyarecursivealgorithm.TheexperimentresultsandthecomparisonwithMulti-layeredSOMmethodshowthatthiswebdocumentclusteringalgorithmbasedonswarmintelligencehasgoodclusteringperformance.Thewebdocumentsfocusonasubjectarerathercompletelyand
5、exactlyclusteringtogether.Keywordsswarmintelligence,documentclustering,Self-organizingclustering,swarmsimilarity1引言Web已快速發(fā)展成為一個海量的、廣泛分布的全球化信息空間。Web信息檢索也就成為一個日益重要的研究領(lǐng)域。Web文檔聚類是Web信息檢索領(lǐng)域的一個重要問題。文檔聚類是一種無指導(dǎo)的文檔分類。它的目標(biāo)是把一個文檔集分成若干稱為集簇(cluster)的子集，每個集簇中的成員之間具有較大的相似性，而
6、集簇之間的文檔具有較小的相似性。Web文檔聚類則是將Web文檔依據(jù)其內(nèi)容進(jìn)行聚類。它不僅可用于有效地組織Web文檔，而且還可形成分類模板用于Web文檔分類。目前使用的文檔聚類算法有以G-HAC等算法為代表的層次凝聚法（agglomerativehierarchicalclustering,AHC），如Stanford大學(xué)數(shù)字圖書館系統(tǒng)中的Soina系統(tǒng)中采用的文檔聚類方法；還有以K-Means算法為代表的平面劃分法，以及以WEBSOM為代表的自組織特征映射（Self-OrganizingMaps,SOM）方法[1,
7、2,3,4,12]。前兩種算法是經(jīng)典聚類算法在文檔聚類方面的應(yīng)用，同時也具有它們本身聚類算法的缺陷，有些缺點在文檔聚類方面還更為突出。如AHC算法可能產(chǎn)生由幾個互不相干的集簇合成為一個集簇，這非常不利于文檔聚類；K-Means算法除了需要預(yù)先設(shè)定集簇個數(shù)K值外，它對噪聲和例外（outliers）以及輸入順序都是敏感的，在對一個文檔集進(jìn)行聚類時，一般較難預(yù)先確定一個適當(dāng)?shù)募貍€數(shù)，而且對例外敏感也會影響文檔聚類的質(zhì)量。自組織聚類算法在克服上述缺陷方面有一定的優(yōu)勢，但是SOM算法在文檔聚類時常常需要多層聚類，即在上一次
8、聚類結(jié)果的基礎(chǔ)上，將較大的類再進(jìn)行SOM聚類，得到多層聚類結(jié)果，如HsinchunChen提出的多層SOM文檔聚類算法[3]。本文提出了一種基于群體智能的Web文檔聚類算法。它不僅是一種自組織Web文檔聚類算法，而且在選用適當(dāng)群體相似系數(shù)以后，一次聚類就能得到優(yōu)于多層SOM文檔聚類的結(jié)果，而群體相似系數(shù)的選取也相對容易。算法的主要過程是首先運用向量空間模型表
