資源描述：
《基于mapreduce的分布式關(guān)聯(lián)規(guī)則挖掘算法研究》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、分類號(hào)：密級(jí)：UDC：編號(hào)：專業(yè)碩士學(xué)位論文（工程碩士）基于MapReduce的分布式關(guān)聯(lián)規(guī)則挖掘算法研究碩士研究生：范燕燕指導(dǎo)教師：董紅斌教授企業(yè)導(dǎo)師：潘悅研究員工程領(lǐng)域：計(jì)算機(jī)技術(shù)論文主審人：吳良杰教授哈爾濱工程大學(xué)2013年5月分類號(hào)：密級(jí)：UDC：編號(hào)：專業(yè)碩士學(xué)位論文（工程碩士）基于MapReduce的分布式關(guān)聯(lián)規(guī)則挖掘算法研究碩士研究生：范燕燕指導(dǎo)教師：董紅斌教授學(xué)位級(jí)別：工程碩士學(xué)科、專業(yè)：計(jì)算機(jī)技術(shù)所在單位：計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院論文提交日期：2013年5月論文答辯日期：2013年6月學(xué)位授予單位：哈爾濱工程大學(xué)ClassifiedIndex:U.D.C:ADisser
2、tationfortheProfessionalDegreeofMaster（MasterofEngineering）ResearchonDistributedMiningofAssociationrulesalgorithmbasedonMapReduceCandidate:FanYanyanSupervisor:Prof.DongHongbinAcademicDegreeAppliedfor:MasterofEngineeringSpecialty:ComputerApplicationTechnologyDateofSubmission:May,2013DateofOralEx
3、amination:Jun,2013University:HarbinEngineeringUniversity哈爾濱工程大學(xué)學(xué)位論文原創(chuàng)性聲明本人鄭重聲明：本論文的所有工作，是在導(dǎo)師的指導(dǎo)下，由作者本人獨(dú)立完成的。有關(guān)觀點(diǎn)、方法、數(shù)據(jù)和文獻(xiàn)的引用已在文中指出，并與參考文獻(xiàn)相對(duì)應(yīng)。除文中已注明引用的內(nèi)容外，本論文不包含任何其他個(gè)人或集體已經(jīng)公開發(fā)表的作品成果。對(duì)本文的研究做出重要貢獻(xiàn)的個(gè)人和集體，均已在文中以明確方式標(biāo)明。本人完全意識(shí)到本聲明的法律結(jié)果由本人承擔(dān)。作者（簽字）：日期：年月日哈爾濱工程大學(xué)學(xué)位論文授權(quán)使用聲明本人完全了解學(xué)校保護(hù)知識(shí)產(chǎn)權(quán)的有關(guān)規(guī)定，即研究生在校攻讀學(xué)位期
4、間論文工作的知識(shí)產(chǎn)權(quán)屬于哈爾濱工程大學(xué)。哈爾濱工程大學(xué)有權(quán)保留并向國家有關(guān)部門或機(jī)構(gòu)送交論文的復(fù)印件。本人允許哈爾濱工程大學(xué)將論文的部分或全部內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索，可采用影印、縮印或掃描等復(fù)制手段保存和匯編本學(xué)位論文，可以公布論文的全部內(nèi)容。同時(shí)本人保證畢業(yè)后結(jié)合學(xué)位論文研究課題再撰寫的論文一律注明作者第一署名單位為哈爾濱工程大學(xué)。涉密學(xué)位論文待解密后適用本聲明。本論文（□在授予學(xué)位后即可□在授予學(xué)位12個(gè)月后□解密后）由哈爾濱工程大學(xué)送交有關(guān)部門進(jìn)行保存、匯編等。作者（簽字）：導(dǎo)師（簽字）：日期：年月日年月日基于MapReduce的分布式關(guān)聯(lián)規(guī)則挖掘算法研究摘要在數(shù)據(jù)挖掘的研
5、究范疇中，關(guān)聯(lián)規(guī)則挖掘算法是至關(guān)重要的一個(gè)分支。關(guān)聯(lián)規(guī)則算法因其目的明確、實(shí)現(xiàn)靈活、求解方便有效、應(yīng)用范圍廣泛等特點(diǎn)成為挖掘數(shù)據(jù)深層價(jià)值的重要手段。它的應(yīng)用在互聯(lián)網(wǎng)飛速發(fā)展的今天擁有更加突出研究意義。信息化迅速加快的今天，數(shù)據(jù)呈現(xiàn)出爆炸式的增長，此刻，分布式關(guān)聯(lián)規(guī)則算法有了更廣闊的發(fā)展空間。本文先分析了傳統(tǒng)的關(guān)聯(lián)規(guī)則算法，隨后著重研究了分布式條件下的關(guān)聯(lián)規(guī)則算法。論文采用目前較為成熟的Hadoop分布式平臺(tái)，對(duì)分布式關(guān)聯(lián)規(guī)則算法的改進(jìn)提出了全新的思路。針對(duì)目前基于MapReduce分布式關(guān)聯(lián)規(guī)則算法的不足首先引入了全局剪枝策略，提高了算法效率。然后運(yùn)用頻繁矩陣存儲(chǔ)的方式減少了內(nèi)存的消
6、耗。首先，在全面了解關(guān)聯(lián)規(guī)則算法背景和研究現(xiàn)狀之后，針對(duì)現(xiàn)有算法無法處理大規(guī)模數(shù)據(jù)以及分布式數(shù)據(jù)的缺點(diǎn)，應(yīng)用Hadoop平臺(tái)實(shí)現(xiàn)對(duì)規(guī)則和知識(shí)的發(fā)現(xiàn)的過程。應(yīng)用MapReduce計(jì)算模型可以有效地解決數(shù)據(jù)分塊處理運(yùn)用多臺(tái)計(jì)算機(jī)協(xié)同處理海量數(shù)據(jù)的問題。使得以前難以解決的問題變得簡(jiǎn)單。其次，針對(duì)現(xiàn)有的MapReduce關(guān)聯(lián)規(guī)則算法，提出了大規(guī)模數(shù)據(jù)分布式處理的MPAOR(MapAprioriOneReduceAlgorithm)算法，本算法在實(shí)現(xiàn)了已有的MPAriori(MapReduceAprioriAlgorithm)算法的基礎(chǔ)上加入了全局剪枝的技術(shù)，使得計(jì)算頻繁項(xiàng)集的計(jì)數(shù)量再一次減少
7、，同時(shí)論文把頻繁矩陣的存儲(chǔ)方式加入到分布式關(guān)聯(lián)規(guī)則算法中，提出了MapReduce計(jì)算模型的頻繁矩陣存儲(chǔ)的MFMDAP(MapFrequentmatrixDistributedAprioriAlgorithm)算法。實(shí)驗(yàn)表明論文提出的算法提高了算法的效率，并且節(jié)省了內(nèi)存的使用量，這有利于大粒度數(shù)據(jù)的計(jì)算和存儲(chǔ)。在實(shí)驗(yàn)中驗(yàn)證了算法的有效性。最后，對(duì)全局剪枝的分布式頻繁項(xiàng)集算法（MPAOR）和基于頻繁矩陣的算法（MFMDAP）的優(yōu)點(diǎn)和不足進(jìn)行說明，總結(jié)了論文研
