資源描述：
《一種基于群體智能文本聚類算法》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。
1、.一種基于群體智能的Web文檔聚類算法吳斌 傅偉鵬鄭毅劉少輝 史忠植（中科院計(jì)算技術(shù)研究所智能信息處理開放實(shí)驗(yàn)室北京100080）摘要 本文提出了一種基于群體智能的Web文檔聚類算法。首先運(yùn)用向量空間模型表示W(wǎng)eb文檔信息，采用常規(guī)方法如消除無用詞和特征詞條約簡(jiǎn)法則得到文本特征集，然后將文檔向量隨機(jī)分布到一個(gè)平面上，運(yùn)用基于群體智能的聚類方法進(jìn)行文檔聚類，最后從平面上采用遞歸算法收集聚類結(jié)果。本文將算法的實(shí)驗(yàn)結(jié)果與多層自組織特征映射算法的聚類結(jié)果進(jìn)行比較分析，分析表明基于群體智能的Web文檔聚類算法具有較好的聚類特性，它能將與一個(gè)主題相關(guān)的Web文檔較完全和準(zhǔn)確地聚成一類
2、。關(guān)鍵詞 群體智能，文檔聚類，自組織聚類，群體相似度ACLUSTERINGALGORITHMBASEDONSWARMINTELLIGENCEFORWEBDOCUMENTWubinFuweipengZhengyiLiuShaohuiShizhongzhiThelab.ofIntelligenceInformationProcessing,InstituteofComputingTechnology,CASAbstractAclusteringalgorithmbasedonswarmintelligenceforwebdocumentisproposed.Firstly,W
3、ebdocumentswhicharedenotedbyvectorspacemodelwithreduceddocumentfeaturesetarerandomlyprojectedonaplane.Then,clusteringanalysisisprocessedbyaclusteringmethodbasedonswarmintelligence.Finally,theclusteringresultsarecollectedfromtheplanebyarecursivealgorithm.Theexperimentresultsandthecompariso
4、nwithMulti-layeredSOMmethodshowthatthiswebdocumentclusteringalgorithmbasedonswarmintelligencehasgoodclusteringperformance.Thewebdocumentsfocusonasubjectarerathercompletelyandexactlyclusteringtogether.Keywordsswarmintelligence,documentclustering,Self-organizingclustering,swarmsimilarity1引言
5、Web已快速發(fā)展成為一個(gè)海量的、廣泛分布的全球化信息空間。Web信息檢索也就成為一個(gè)日益重要的研究領(lǐng)域。Web文檔聚類是Web信息檢索領(lǐng)域的一個(gè)重要問題。文檔聚類是一種無指導(dǎo)的文檔分類。它的目標(biāo)是把一個(gè)文檔集分成若干稱為集簇(cluster)的子集，每個(gè)集簇中的成員之間具有較大的相似性，而集簇之間的文檔具有較小的相似性。Web文檔聚類則是將Web文檔依據(jù)其內(nèi)容進(jìn)行聚類。它不僅可用于有效地組織Web文檔，而且還可形成分類模板用于Web文檔分類。目前使用的文檔聚類算法有以G-HAC等算法為代表的層次凝聚法（agglomerativehierarchicalclustering
6、,AHC），如Stanford大學(xué)數(shù)字圖書館系統(tǒng)中的Soina系統(tǒng)中采用的文檔聚類方法；還有以K-Means算法為代表的平面劃分法，以及以WEBSOM為代表的自組織特征映射（Self-Organizing.頁腳.....Maps,SOM）方法[1,2,3,4,12]。前兩種算法是經(jīng)典聚類算法在文檔聚類方面的應(yīng)用，同時(shí)也具有它們本身聚類算法的缺陷，有些缺點(diǎn)在文檔聚類方面還更為突出。如AHC算法可能產(chǎn)生由幾個(gè)互不相干的集簇合成為一個(gè)集簇，這非常不利于文檔聚類；K-Means算法除了需要預(yù)先設(shè)定集簇個(gè)數(shù)K值外，它對(duì)噪聲和例外（outliers）以及輸入順序都是敏感的，在對(duì)一個(gè)文
7、檔集進(jìn)行聚類時(shí)，一般較難預(yù)先確定一個(gè)適當(dāng)?shù)募貍€(gè)數(shù)，而且對(duì)例外敏感也會(huì)影響文檔聚類的質(zhì)量。自組織聚類算法在克服上述缺陷方面有一定的優(yōu)勢(shì)，但是SOM算法在文檔聚類時(shí)常常需要多層聚類，即在上一次聚類結(jié)果的基礎(chǔ)上，將較大的類再進(jìn)行SOM聚類，得到多層聚類結(jié)果，如HsinchunChen提出的多層SOM文檔聚類算法[3]。本文提出了一種基于群體智能的Web文檔聚類算法。它不僅是一種自組織Web文檔聚類算法，而且在選用適當(dāng)群體相似系數(shù)以后，一次聚類就能得到優(yōu)于多層SOM文檔聚類的結(jié)果，而群體相似系數(shù)的選取也相對(duì)容易。算法的主要過程是首先
