基于m-agent分布式數(shù)據(jù)挖掘的研究

《基于m-agent分布式數(shù)據(jù)挖掘的研究》由會員上傳分享，免費在線閱讀，更多相關內(nèi)容在學術論文-天天文庫。

1、摘要mllIlllmlllll砌11llllllll洲?Y194455隨著計算機網(wǎng)絡技術和分布式數(shù)據(jù)庫技術的飛速發(fā)展，人們從龐大的分布式的海量數(shù)據(jù)中發(fā)現(xiàn)知識成為可能，然而采用傳統(tǒng)的集中式的數(shù)據(jù)挖掘方法往往不能很好地解決這一問題，這是因為①數(shù)據(jù)的集中受到網(wǎng)絡帶寬流量的限制，②傳統(tǒng)的挖掘方法并不能在集中后的過大數(shù)據(jù)上高效運行，③從數(shù)據(jù)的安全保密方面考慮也不允許數(shù)據(jù)進行這樣的移動。因此如何高效地從分布式的數(shù)據(jù)中發(fā)現(xiàn)知識日益成為學界研究的重要問題。自20世紀90年代以來，多Agent系統(tǒng)(Multi-AgentSystem，MAS)逐漸成為

2、人們研究的熱點，它對許多科學技術的發(fā)展產(chǎn)生了深遠的影響。Multi．Agent技術以其自治、主動、智能等特性，比較適合于對復雜的分布式問題進行求解?；贛ulti．Agent的分布式數(shù)據(jù)挖掘系統(tǒng)中，數(shù)據(jù)挖掘Agent被分派到網(wǎng)絡中的各個數(shù)據(jù)站點上，根據(jù)用戶的需求進行挖掘，并將挖掘結果傳送給用戶，這不僅有效避免了數(shù)據(jù)的大量移動，也較好地解決了數(shù)據(jù)的安全保密問題。因此，Multi．Agent在分布式數(shù)據(jù)挖掘方面的這一顯著優(yōu)勢必將為分布式數(shù)據(jù)挖掘技術的進步產(chǎn)生重要影響。本文首先研究了Multi．Agent和數(shù)據(jù)挖掘技術的相關理論，然后基于

3、Multi．Agent設計了一個分布式數(shù)據(jù)挖掘系統(tǒng)模型，分析了系統(tǒng)的挖掘流程，給出了其中各種Agent的結構和功能，并詳細說明了系統(tǒng)中多個Agent之間的協(xié)作方法。為了更有效地進行分布式關聯(lián)規(guī)則的挖掘，在對數(shù)據(jù)挖掘算法進行深入研究的基礎上，設計了一種基于哈希表的加權頻繁項目集增量更新算法(WeightedHashIncrementalUpdatingAlgorithm，1

4、l『HIUA)，并將改進的FP—growth算法應用到系統(tǒng)中，分析和實驗表明，這些工作不僅能夠較好處理傳統(tǒng)算法未能處理的數(shù)據(jù)庫和最小支持度兩者同時發(fā)生變化的問題，

5、而且能夠有效提高最大頻繁項目集的挖掘和更新效率，進而改善整個系統(tǒng)的分布式數(shù)據(jù)挖掘的總體性能。關鍵詞：Multi-Agent；分布式；數(shù)據(jù)挖掘；關聯(lián)規(guī)則；最大頻繁項目集AbstractWiththedevelopmentofthecomputernetworkanddistributeddatabaseminingtechniques，searchingknowledgefromthedistributedsystemhasgreatapplicationprospects．Theissuesofextactingknowledgef

6、romdistributeddatabasebytraditionalcentralizeddataminingmethodsareoftennotwellresolvedwiththehugeamountofdata．Since：①theconstraintsoftheNetworkbandwidth；②usingtraditionaldataminingmethodsdoesn’tworkeffectivelyoncentralizeddata；③thedatausuallynotallowedmovinginsecuritya

7、spects．Therefore，howtoextractknownledgefromthedistributedsystemefficientlyhasbecomeresearchinghotspotscurrently．Since1990s，Multi-AgentSystem(MAS)isgraduallybecomingaresearchhotspotandhasaprofoundimpactonthedevelopmentofscienceandtechnology．TheMulti-Agenttechnologyissui

8、tableforthecomplexdistributedproblems．InDataMiningSystembasedonMulti·Agent,Agentsondifferentdatabasewillbeworkingaccordingtotheuser’srequirements，andtransferringtheresulttotheusers．Thismethodcannotonlyavoidthemassmovementofdata,butalsocansolvethesecurityproblem．Sothere

9、areadvantagesofusingtheMulti—Agenttechnologyinthedistributeddatabaseminingsystem．ThispaperrepresentstheprincipleofDat