資源描述:
《基于mapreduce的改進的apriori算法及其應用研究》由會員上傳分享,免費在線閱讀,更多相關內容在工程資料-天天文庫。
1、第44卷第6期計算機科學Vo1.44No.62017年6月COMPUTERSCIENCEJune2017基于MapReduce的改進的Apriori算法及其應用研究趙月任永功劉i羊(遼寧師范大學計算機與信息技術學院大連116029)摘要隨著移動通信和互聯(lián)網(wǎng)技術的迅猛發(fā)展,如何高效地分析移動用戶的需求并及時推送有用信息成為數(shù)據(jù)挖掘領域的熱點之一。針對上述問題,提出一種基于云計算Hadoop平臺的分布式關聯(lián)規(guī)則島1RS-Apriori算法。該方法在經典Apriori算法的基礎上優(yōu)化了數(shù)據(jù)庫編碼規(guī)則,增加了判斷標記Judgemark來判斷事務項是否頻繁,提高了M
2、RS-Apriori算法在連接時掃描數(shù)據(jù)庫的效率。在編碼的基礎上,采用Hadoop平臺下的MapReduce編程框架模型實現(xiàn)并行化處理,提高了迭代時連接步驟的效率,降低了大規(guī)模數(shù)據(jù)樣本運算的時間開銷。實驗結采表明,改進的MRS-Apriori算法可以有效地減少運算時間,在處理大規(guī)模數(shù)據(jù)集上具有較高的準確性。關鍵詞編碼規(guī)則,關聯(lián)規(guī)則,頻繁項集,MapReduce框架中圖法分類號TP39文獻標識碼A00110.11896/j.issn.1002-137X.2017.06.043ImprovedAprioriAlgorithmandItsApplicatioo?
3、ased00MapReduceZHAOYueRENYong-gongLIUYang(SchoolofComputerandInformationTechnology,LiaoningNormalUniversity,Dalian116029,China)AbstractWiththerapiddevelopmentofmobilecommunicationsandlnternettechnology,itbecomesoneofthehotis?suesinthefieldofdataminingthathowtoanalyzetherequirement
4、sofmobileusersefficientlyandsendusefulinformationsintime.Inordertorecommendtheanalysisresulttousersefficientlyandtimely,aminingmethodnamedMRS?ApriorialgorithmbasedonMapReducewasproposed.ThismethoddefinesakindofcodingruletooptimizedatabasebasedonclassicalApriorialgorithm.Ajudgingma
5、rknamedJudgemarl王isaddedtodatabasetodecidewhetherthetransactiondatabaseisfrequent.ThismechanismimprovestheefficiencyofMRS-Apriroialgorithminconnectingdatabasetoscandatabaseefficiently.Onthebasisofencodingrules,theMRS-ApriroialgorithmusesMapReduceprogram?mingframeworkmodelunderHado
6、optoachieveparallelprocessing.Itimprovestheperformanceofiterationwhenconnectingprocessandreducesthetimeindealingwithlarge-scaledata.TheexperimentresultsshowthatMRS-Apriroialgorithmcaneffectivelyreducetimeandhavehighaccuracyinhandlinglargedatasets.KeywordsCodingrules,Associationrul
7、es,Frequentitemsets,MapReduceframework2)多次掃描全局事務數(shù)據(jù)庫極大地增加了時間開銷。引言為了彌補以上缺點,以更高效、快捷地進行關聯(lián)規(guī)則挖隨著移動通信技術和互聯(lián)網(wǎng)技術的融合發(fā)展,新興移動掘,許多改進的Apriori算法囚.10J被提出。Benjamin等人[5J提設備和服務也相應產生[lJ。人們越來越多地通過移動應用獲出一種可擴展的pcApriori算法,即通過改進生產者消費者取生活娛樂、導航、在線社交等各種服務[2J。人們在享受種類處理方案,在加工和銷售的過程中劃分數(shù)據(jù)給可用線程,并將繁多的移動應用給生活帶來便利的同
8、時,也面臨著海量無關其擴展到多處理器大型數(shù)據(jù)集上。郭建等人[6J提