資源描述:
《基于mapreduce的改進(jìn)的apriori算法及其應(yīng)用研究》由會(huì)員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在工程資料-天天文庫(kù)。
1、第44卷第6期計(jì)算機(jī)科學(xué)Vo1.44No.62017年6月COMPUTERSCIENCEJune2017基于MapReduce的改進(jìn)的Apriori算法及其應(yīng)用研究趙月任永功劉i羊(遼寧師范大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院大連116029)摘要隨著移動(dòng)通信和互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展,如何高效地分析移動(dòng)用戶的需求并及時(shí)推送有用信息成為數(shù)據(jù)挖掘領(lǐng)域的熱點(diǎn)之一。針對(duì)上述問(wèn)題,提出一種基于云計(jì)算Hadoop平臺(tái)的分布式關(guān)聯(lián)規(guī)則島1RS-Apriori算法。該方法在經(jīng)典Apriori算法的基礎(chǔ)上優(yōu)化了數(shù)據(jù)庫(kù)編碼規(guī)則,增加了判斷標(biāo)記Judgemark來(lái)判斷事務(wù)項(xiàng)是否頻繁,提高了M
2、RS-Apriori算法在連接時(shí)掃描數(shù)據(jù)庫(kù)的效率。在編碼的基礎(chǔ)上,采用Hadoop平臺(tái)下的MapReduce編程框架模型實(shí)現(xiàn)并行化處理,提高了迭代時(shí)連接步驟的效率,降低了大規(guī)模數(shù)據(jù)樣本運(yùn)算的時(shí)間開(kāi)銷。實(shí)驗(yàn)結(jié)采表明,改進(jìn)的MRS-Apriori算法可以有效地減少運(yùn)算時(shí)間,在處理大規(guī)模數(shù)據(jù)集上具有較高的準(zhǔn)確性。關(guān)鍵詞編碼規(guī)則,關(guān)聯(lián)規(guī)則,頻繁項(xiàng)集,MapReduce框架中圖法分類號(hào)TP39文獻(xiàn)標(biāo)識(shí)碼A00110.11896/j.issn.1002-137X.2017.06.043ImprovedAprioriAlgorithmandItsApplicatioo?
3、ased00MapReduceZHAOYueRENYong-gongLIUYang(SchoolofComputerandInformationTechnology,LiaoningNormalUniversity,Dalian116029,China)AbstractWiththerapiddevelopmentofmobilecommunicationsandlnternettechnology,itbecomesoneofthehotis?suesinthefieldofdataminingthathowtoanalyzetherequirement
4、sofmobileusersefficientlyandsendusefulinformationsintime.Inordertorecommendtheanalysisresulttousersefficientlyandtimely,aminingmethodnamedMRS?ApriorialgorithmbasedonMapReducewasproposed.ThismethoddefinesakindofcodingruletooptimizedatabasebasedonclassicalApriorialgorithm.Ajudgingma
5、rknamedJudgemarl王isaddedtodatabasetodecidewhetherthetransactiondatabaseisfrequent.ThismechanismimprovestheefficiencyofMRS-Apriroialgorithminconnectingdatabasetoscandatabaseefficiently.Onthebasisofencodingrules,theMRS-ApriroialgorithmusesMapReduceprogram?mingframeworkmodelunderHado
6、optoachieveparallelprocessing.Itimprovestheperformanceofiterationwhenconnectingprocessandreducesthetimeindealingwithlarge-scaledata.TheexperimentresultsshowthatMRS-Apriroialgorithmcaneffectivelyreducetimeandhavehighaccuracyinhandlinglargedatasets.KeywordsCodingrules,Associationrul
7、es,Frequentitemsets,MapReduceframework2)多次掃描全局事務(wù)數(shù)據(jù)庫(kù)極大地增加了時(shí)間開(kāi)銷。引言為了彌補(bǔ)以上缺點(diǎn),以更高效、快捷地進(jìn)行關(guān)聯(lián)規(guī)則挖隨著移動(dòng)通信技術(shù)和互聯(lián)網(wǎng)技術(shù)的融合發(fā)展,新興移動(dòng)掘,許多改進(jìn)的Apriori算法囚.10J被提出。Benjamin等人[5J提設(shè)備和服務(wù)也相應(yīng)產(chǎn)生[lJ。人們?cè)絹?lái)越多地通過(guò)移動(dòng)應(yīng)用獲出一種可擴(kuò)展的pcApriori算法,即通過(guò)改進(jìn)生產(chǎn)者消費(fèi)者取生活?yuàn)蕵?lè)、導(dǎo)航、在線社交等各種服務(wù)[2J。人們?cè)谙硎芊N類處理方案,在加工和銷售的過(guò)程中劃分?jǐn)?shù)據(jù)給可用線程,并將繁多的移動(dòng)應(yīng)用給生活帶來(lái)便利的同
8、時(shí),也面臨著海量無(wú)關(guān)其擴(kuò)展到多處理器大型數(shù)據(jù)集上。郭建等人[6J提