分布式關(guān)聯(lián)規(guī)則挖掘算法的研究與應(yīng)用

《分布式關(guān)聯(lián)規(guī)則挖掘算法的研究與應(yīng)用》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。

1、RESEARCHoNDISTRIBUTEDASSoCIATIoNRULESMININGALGORITHMANDITSAPPLICATIoNSThesisSubmittedtoZhejiangNormalUniversityinpartialfulfillmentoftherequirementforthedegreeofMasterofEngineerByLiuQun(ComputerSoftware&Theory)ThesisSupervisor：ProfeJiaJion91laeSlSrrolessorJnMay，2011卜二

2、二『lI’!r∥t囂一㈡．傍；A囂，aq恿，，j7著-_f‘j饈—，。，I‘·再．

3、疆●JIjl口3誓?！鍪膉lr；]分布式關(guān)聯(lián)規(guī)則挖掘算法的研究與應(yīng)用摘要lIIIIIIIIIil11ITIIlY1949657近些年來(lái)信息技術(shù)飛速發(fā)展，特別是數(shù)據(jù)庫(kù)技術(shù)的更新?lián)Q代，各個(gè)領(lǐng)域的數(shù)據(jù)都出現(xiàn)了爆炸性增長(zhǎng)。與此形成鮮明對(duì)比的是，從數(shù)據(jù)中提煉出來(lái)的對(duì)人們決策有價(jià)值的知識(shí)卻十分匱乏。數(shù)據(jù)挖掘正是在這一背景下誕生的一門(mén)新學(xué)科。關(guān)聯(lián)規(guī)則挖掘是數(shù)據(jù)挖掘領(lǐng)域當(dāng)前研究的主要熱點(diǎn)之一，用于確定數(shù)據(jù)集中不同數(shù)據(jù)項(xiàng)或?qū)傩灾g的聯(lián)系，找出有價(jià)值的多個(gè)域之間的依賴

4、關(guān)系。關(guān)聯(lián)規(guī)則挖掘具有計(jì)算量大，F(xiàn)O負(fù)載集中的特點(diǎn)，一方面，許多關(guān)聯(lián)規(guī)則的實(shí)際應(yīng)用涉及到海量數(shù)據(jù)，即使對(duì)算法進(jìn)行了優(yōu)化，在單處理機(jī)上使用串行算法進(jìn)行挖掘所需要的時(shí)間可能也是無(wú)法接受的；另一方面，在實(shí)際的應(yīng)用領(lǐng)域，業(yè)務(wù)數(shù)據(jù)存儲(chǔ)于多個(gè)地點(diǎn)，各個(gè)站點(diǎn)之間需要共享全局規(guī)則模式，而且這些站點(diǎn)的數(shù)據(jù)有可能會(huì)發(fā)生一些動(dòng)態(tài)地增量變化，在這種情況下，必須依靠高性能分布式關(guān)聯(lián)規(guī)則挖掘來(lái)有效地完成挖掘任務(wù)。頻繁項(xiàng)集挖掘是生成關(guān)聯(lián)規(guī)則的關(guān)鍵步驟，其效率問(wèn)題是關(guān)聯(lián)規(guī)則挖掘中的一大難點(diǎn)和熱點(diǎn)。在前人研究的基礎(chǔ)上，論文基于分布式環(huán)境中的數(shù)據(jù)集，和所涉及到的算法

5、數(shù)據(jù)結(jié)構(gòu)，對(duì)全局頻繁項(xiàng)集的挖掘問(wèn)題進(jìn)行了深入的分析和研究，從分布式環(huán)境挖掘中的剪枝策略、網(wǎng)絡(luò)通信策略和增量挖掘方法等角度著手，進(jìn)一步改進(jìn)了全局頻繁項(xiàng)集的挖掘算法，文章的最后還例舉了算法的應(yīng)用。概括一下本文工作，主要包括以下幾個(gè)方面：(1)提出一種基于頻繁模式樹(shù)與最大頻繁項(xiàng)集的分布式全局頻繁項(xiàng)集挖掘算法BFM．MGFIS。該算法引入子集枚舉樹(shù)以實(shí)現(xiàn)有序挖掘與優(yōu)化全局剪枝策略，有效地減小了候選項(xiàng)集且提高了并行性，最后，通過(guò)實(shí)驗(yàn)證明提出的算法是有效可行的。(2)討論數(shù)據(jù)更新情況下規(guī)則模式的維護(hù)與更新，提出一種增量式的分布式全局頻繁項(xiàng)集挖

6、掘算法，該算法基于CanTree前綴樹(shù)，使得頻繁模式不再依賴于頻繁1項(xiàng)目集序列，而是由用戶指定的某一序列，據(jù)此對(duì)數(shù)據(jù)項(xiàng)進(jìn)行排序，這樣數(shù)據(jù)項(xiàng)的排序與更新無(wú)關(guān)，且樹(shù)中保留了數(shù)據(jù)庫(kù)的所有信息，仿真實(shí)驗(yàn)證明提出的方法是有效可行I的。(3)圍繞提出的兩種算法實(shí)現(xiàn)了分布式關(guān)聯(lián)規(guī)則挖掘模擬系統(tǒng)，將兩種算法應(yīng)用于實(shí)際的生物學(xué)數(shù)據(jù)分析中，以發(fā)現(xiàn)野生蘑菇的性狀與其毒性的關(guān)聯(lián)關(guān)系。關(guān)鍵詞：數(shù)據(jù)挖掘；關(guān)聯(lián)規(guī)則；分布式挖掘；子集枚舉樹(shù)；全局頻繁項(xiàng)集IIRESEARCHoNDISTRIBUTEDASSoCIATIONRULESMININGALGoIUTHMA

7、NDITSAPPLICATIoNSABSTRACTWiththerapiddevelopmentofinformationtechnologyinrecentyears，inparticulartheupgradingofdatabasetechnology,dataexplosivegrowthisshowninvariousfields．Insharpcontrast,thevaluableknowledgeextractedfromthedatafordecisionisveryscarce．Dataminingisanew

8、subjectthatemergesinthebackground．TheassociationruleminingisoneofthemainfocusofcurrentDataminingresearchareawhichisusedtodeterminetherelationshipamongdifferentitemsorattributesindataset，inordertofreddependentrelationsamongvaluablemultipledomains．However,associationrul

9、eminingischaracterized誦thlargecomputationandconcentratedI／0load．Ontheonehand,associationrulesinvolveshugeamountsofdatainprac