資源描述:
《關(guān)聯(lián)規(guī)則挖掘中的mapreduce并行架構(gòu)與隱私保護(hù)研究》由會(huì)員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。
1、:10004密級(jí)學(xué)校代碼:公開又道乂肇BEIJINGJIAOTONGUNIVERSITY碩±學(xué)位論文胃m關(guān)聯(lián)規(guī)則挖掘中的MapReduce并行架構(gòu)與隱私保護(hù)研究作者姓名\熊富蕊學(xué)科?;?jì)算機(jī)科學(xué)與技術(shù)'指導(dǎo)教師桑應(yīng)朋副教授'v>^培養(yǎng)院系化算化與信息技術(shù)學(xué)慌f*1MrTf^gs■3內(nèi)巧刊f’''-一^'K?■■想巧它(K、謝f_.\,、riy1如'交道乂#碩±學(xué)位論文關(guān)聯(lián)規(guī)則挖掘中的Map民educe并行
2、架構(gòu)與隱私保護(hù)研究民educe-based民e化archonMaParallelArchi化ctureandPrivacpyPro化ctioninAssociationRuleMining作者:熊富蕊導(dǎo)師:桑應(yīng)朋北京交通大學(xué)2016年6月1學(xué)位論文版權(quán)使用授權(quán)書本學(xué)位論文作者完全了解北京交通大學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定。特授權(quán)北京交通大學(xué)可W將學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫(kù)進(jìn)行檢索,、提供閱覽服務(wù),并采用影印縮印或掃描等復(fù)制手段保存、匯編供査悶和借閱。同意學(xué)
3、校向國(guó)家有關(guān)部口或機(jī)構(gòu)送交論文的復(fù)印件和磁盤。學(xué)??蔀榇嬖陴^際合作關(guān)系的兄弟離校用戶提供文獻(xiàn)傳遞服務(wù)和交換服務(wù)。(保密的學(xué)位論文在解密后適用本授權(quán)說(shuō)明)學(xué)位論文作者簽名:富交導(dǎo)師簽名;自?。蓿迹肌⒑炞衷黄冢喝缒辏犜虑桑壓炞衷黄冢河帜辏拊拢荆苍唬崳姡桑崳姡桑海簩W(xué)校代碼10004密級(jí)公開北京交通大學(xué)碩±學(xué)位論文關(guān)聯(lián)規(guī)則挖掘中的MapReduce并行架構(gòu)與隱私保護(hù)研究-badPara民e化archonMaHeducesellelArchitectureandPrivacpyPro化ction
4、inAssociationRuleMining13120436作者姓名;熊富蕊學(xué)號(hào):導(dǎo)師姓名;桑應(yīng)朋職稱:副教授學(xué)位類別:碩±:工學(xué)學(xué)位級(jí)別學(xué)科專業(yè):計(jì)算機(jī)科學(xué)與技術(shù)研究方向:數(shù)據(jù)挖掘北京交通大學(xué)2016年6月ill致謝首先,感謝我的導(dǎo)師。從選題到論文研巧工作的完成都是在老師的親切關(guān)懷和悉必指導(dǎo)下完成的一直孜孜不椿地指導(dǎo)。H年的研巧生生活,老師言傳身教,著我的學(xué)習(xí)和生活。老師淵博的學(xué)識(shí)、精益求精的工作作風(fēng)、嚴(yán)謹(jǐn)?shù)闹螌W(xué)態(tài)度和嚴(yán)UA律己、寬W待人的崇尚風(fēng)范,深深地影響了我,
5、不僅使我掌握了研究方法,還使我明白待人處事的道理。我謹(jǐn)向老師表達(dá)我的敬意之情和最由衷的感謝。感謝北京交通大學(xué)研巧生部、計(jì)算機(jī)與信息技術(shù)學(xué)院、全體老師和班級(jí)學(xué)生。、學(xué)習(xí)讓我可W在這個(gè)團(tuán)結(jié)、友好的環(huán)境里,安也,開闊眼界,在面對(duì)困難時(shí),能夠有信也繼續(xù)學(xué)習(xí)并快樂的渡過(guò)研巧生生活。感謝實(shí)驗(yàn)室的師姐妹,營(yíng)造出了良好研究氛圍。在生活中的支持與信,并幫助和鼓勵(lì)我能夠快速的完成課題的研巧,任,讓我可W自信的面對(duì)挫折和困難最后特別感謝我的父母,感謝他們養(yǎng)育我成人,教會(huì)我做人。對(duì)我的理解與支持和無(wú)微不至的關(guān)懷,是我人生道路上不
6、斷前進(jìn)的動(dòng)力,使我不斷的成長(zhǎng),不斷挑戰(zhàn)自己并完成人生目標(biāo)。、感謝所有給予我關(guān)也、指導(dǎo)和支持的人們?。崳姡椋觯崳姳本┙煌ù髮W(xué)碩±學(xué)位論文摘要摘要隨著信息網(wǎng)絡(luò)技術(shù)的快速發(fā)展,全球數(shù)據(jù)量呈現(xiàn)爆炸式増長(zhǎng),如何從海量數(shù)據(jù)中快速的挖掘出有用信息是當(dāng)今社會(huì)亟待解決的問(wèn)題。關(guān)聯(lián)規(guī)則是數(shù)據(jù)挖掘中一個(gè)非常重要的技術(shù),被廣泛的應(yīng)用于各個(gè)領(lǐng)域。如何使用關(guān)聯(lián)規(guī)則正確地挖掘是數(shù)據(jù)挖掘的首要任務(wù),也是本文的研究重點(diǎn)。由于傳統(tǒng)關(guān)聯(lián)規(guī)則算法在挖掘海量數(shù)據(jù)時(shí),效率較低且大多會(huì)出現(xiàn)內(nèi)存不足的現(xiàn)象,而并行技術(shù)可W髙效處理海量數(shù)據(jù),因此,并
7、行關(guān)聯(lián)規(guī)則算法的研巧具有重大實(shí)際意義。同時(shí),隨著數(shù)據(jù)挖掘技術(shù)的不斷提高,用戶的隱私可能會(huì)遭到泄露,實(shí)現(xiàn)數(shù)據(jù)的隱私保護(hù)也是必要的。因此,本文針對(duì)隱私保護(hù)和海呈數(shù)據(jù)挖掘問(wèn)題,提出了基于隱私保護(hù)的并行PRRCHA算法和基于MapReduce的并行MRFP算法。本文的主要研巧工作如下;(1)傳統(tǒng)的Apriori算法需要生成大量的候選項(xiàng)目集,并且對(duì)計(jì)算機(jī)內(nèi)存要求較高。針對(duì)Apriori算法的這些缺點(diǎn),本文提出了基于MapReduce的并行PCHA算法。首先對(duì)Apriori算法采用比較方法和hash樹結(jié)構(gòu)優(yōu)化得到CHA算法,
8、簡(jiǎn)化了最大頻巧項(xiàng)目集的生成步驟,減少了候選項(xiàng)目集的生成數(shù)目,并精確地獲得所有頻巧項(xiàng)目集。其次,利用MapReduce編程模式分析CHA算法的頻巧模式挖掘過(guò)程,進(jìn)行數(shù)據(jù)的獨(dú)立分組,保證算法的完備性