分布式聚類技術(shù)研究及其應(yīng)用

《分布式聚類技術(shù)研究及其應(yīng)用》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。

1、中南大學(xué)碩士學(xué)位論文分布式聚類技術(shù)研究及其應(yīng)用姓名：田野申請(qǐng)學(xué)位級(jí)別：碩士專業(yè)：信息與通信工程指導(dǎo)教師：梁建武20100501摘要聚類分析技術(shù)已經(jīng)在許多領(lǐng)域的應(yīng)用中顯示出了強(qiáng)大的優(yōu)勢(shì)，因此受到了研究人員的高度重視。但是，隨著互聯(lián)網(wǎng)的飛速發(fā)展，信息量開始呈爆炸式增長(zhǎng)，數(shù)據(jù)開始呈分布式存儲(chǔ)，由于網(wǎng)絡(luò)帶寬、隱私保護(hù)、內(nèi)存容量等問(wèn)題的限制，幾乎不可能把不同站點(diǎn)的數(shù)據(jù)全部集中在某一個(gè)中心點(diǎn)進(jìn)行聚類，傳統(tǒng)的集中式聚類算法面臨著嚴(yán)峻的挑戰(zhàn)。本文在整理歸納了前人對(duì)集中式和分布式聚類算法的研究成果以及存在的問(wèn)題之后

2、，主要做了以下工作?；贙．means的分布式聚類算法K．Dmeans在伸縮性上有一定效果，但是通信開銷較大，本文在此算法基礎(chǔ)上引入主從工作方式，提出了DK．Dmeans分布式聚類算法。理論和仿真實(shí)驗(yàn)證明該算法有效減少了分布式聚類過(guò)程中的數(shù)據(jù)通信量，并達(dá)到了與集中式K．means算法相當(dāng)?shù)木垲惥?。增量集成分布式?shù)據(jù)挖掘模型(IIDDM)是一種性能較好的基于代理的分布式聚類模型，但是其個(gè)體合作以及串行工作方式存在固有不足，本文在該模型基礎(chǔ)上引入分層的思想，提出了一種層次式增量集成分布式數(shù)據(jù)挖掘模型

3、(HIIDDM)，該模型將分布式數(shù)據(jù)挖掘系統(tǒng)分解成小的子系統(tǒng)，并通過(guò)代理分層聚類。與基于IIDDM模型的系統(tǒng)相比較，該模型具有更好的伸縮性和執(zhí)行效率，降低了通信代價(jià)，特別適合處理大規(guī)模聚類問(wèn)題。本文最后以實(shí)際應(yīng)用為背景，結(jié)合前面提出的新算法和新模型設(shè)計(jì)了針對(duì)傳感器網(wǎng)絡(luò)的分布式入侵檢測(cè)系統(tǒng)，該系統(tǒng)建立在多Agent分布式體系結(jié)構(gòu)之上，取得了較好的識(shí)別效果，具有十分廣闊的應(yīng)用—1L目日l(shuí)J索。關(guān)鍵詞：分布式聚類，K．means，層次增量，Agent，分布式入侵檢測(cè)ABSTRACTClusteringa

4、nalysiswhosestrongadvantagesdrawingtheattentionofmanyresearchershasbeensuccessfullyappliedinmanyareasatpresent．WiththerapiddevelopmentofInternet，however，datahasbegunintodistributedstoragetosatisfytheexplosiveincreaseoftheinformation．Itisalmostimpossib

5、leforthedatafromdifferentsitestobefocusedononecentralpointduetolimitationsofnetworkbandwidth，privacyprotectionandmemorycapacity．Afterpreviousstudiesaboutclusteringtechniquesummarized，thefollowingtaskshavebeencarriedoutinthispaper．DK-Dmeansalgorithmwhi

6、chisamodifiedversionofK-Dmeansalgorithmisproposedtoreducethecommunicationconsumption．TimeefficiencyofthealgorithmisevaluatedthroughsimulationexperimenmandtheresultsshowthatthisalgorithmachievestheeffectascommonK-means．HIIDDMbasedonIIDDMisdesignedaccor

7、dingtOahierarchicalideawithdecomposingalargesystemintoseveralsmallersubsystemstOaddresstheissueforthedefectsofIIDDM．WiththecomparisonofsimplyusingIIDDMmodel，thenewmodelhasstrongerflexibility,moreefficiencyoftheimplementation，andlesscommunicationconsum

8、ption，especiallyforlarge—scaledataclustering．Anintrusiondetectionsystemforwirelesssensornetworkhasbeendesigned，whichisbasedonthenewdistributedclusteringalgorithmandthemodel．Thissystemisonthebasisofmulti—Agentdistributedarchitecturetoobtaingood