資源描述：
《基于Hadoop平臺的分布式EM聚類算法》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、中圖分類號：TP391UDC：620密級：t口勻義：學(xué)校代碼：訶4￡解為尤李碩士學(xué)位論文(學(xué)歷碩士)公開10094基于Hadoop平臺的分布式EM聚類算法DistributedEMClusteringAlgorithmBasedonHadoopPlatform作者姓名：指導(dǎo)教師：學(xué)科專業(yè)：研究方向：論文開題日期：蘇嘉庚趙書良教授計算機(jī)應(yīng)用技術(shù)智能信息處理與網(wǎng)絡(luò)信息系統(tǒng)2013年3月27日學(xué)位論文原創(chuàng)性聲明JDJIJMIM)IJJIMIIIIJY2563693本人所提交的學(xué)位論文《基于Hadoop平臺的分布式EM聚類算法》，是在導(dǎo)師的指導(dǎo)下，獨(dú)立進(jìn)行研
2、究工作所取得的原創(chuàng)性成果。除文中已經(jīng)注明引用的內(nèi)容外，本論文不包含任何其他個人或集體己經(jīng)發(fā)表或撰寫過的研究成果。對本文的研究做出重要貢獻(xiàn)的個人和集體，均己在文中標(biāo)明。本聲明的法律后果由本人承擔(dān)。論文作者。簽鼽嘉嘉衷指導(dǎo)教師確認(rèn)。簽孫2．oJt．陣-5月≯Z日】Df爭年占月2彳日學(xué)位論文版權(quán)使用授權(quán)書越為＆本學(xué)位論文作者完全了解河北師范大學(xué)有權(quán)保留并向國家有關(guān)部門或機(jī)構(gòu)送交學(xué)位論文的復(fù)印件和磁盤，允許論文被查閱和借閱。本人授權(quán)河北師范大學(xué)可以將學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索，可以采用影印、縮印或其它復(fù)制手段保存、匯編學(xué)位論文。(保密的學(xué)
3、位論文在——年解密后適用本授權(quán)書)論文作者c簽孫，芳喜灰指導(dǎo)教師c簽孫蟛蕾zD／午年歲月≯‘日2糾凈年歲月巧日11摘要隨著“大數(shù)據(jù)"概念的出現(xiàn)，國內(nèi)外研究學(xué)者越發(fā)集中關(guān)注如何從大數(shù)據(jù)中獲取有價值的知識，如何運(yùn)用智能算法從海量數(shù)據(jù)中發(fā)現(xiàn)有意義的模式和規(guī)則以及如何借助有效工具從數(shù)據(jù)海洋中提取對領(lǐng)導(dǎo)決策具有支撐和引導(dǎo)作用的信息。聚類分析作為數(shù)據(jù)挖掘領(lǐng)域的一個重要研究方向，是一種將數(shù)據(jù)對象劃分成若干簇或類的過程，使同一類中的對象高度相似，而不同類之間的對象具有較大的差異。然而隨著數(shù)據(jù)規(guī)模的迅猛增長，單機(jī)串行的聚類算法遇到了瓶頸，主要表現(xiàn)在數(shù)據(jù)無法一次性裝入內(nèi)
4、存、執(zhí)行效率差、無法實(shí)現(xiàn)并行處理等方面。Hadoop分布式計算技術(shù)的出現(xiàn)及發(fā)展為解決這類問題提供了一種有效的手段。Hadoop分布式平臺通過HDFS(分布式文件系統(tǒng))存儲海量數(shù)據(jù)，并結(jié)合MapReduce編程框架實(shí)現(xiàn)對大規(guī)模數(shù)據(jù)集的并行處理?？蒲泄ぷ髡吆陀脩艨梢愿鶕?jù)串行聚類算法的特點(diǎn)，結(jié)合MapReduce編程框架，在不需要過多了解Hadoop平臺底層細(xì)節(jié)的情況下，能夠很容易的實(shí)現(xiàn)算法的并行化，從而提高算法的執(zhí)行效率，幫助人們從大數(shù)據(jù)中獲取有價值的信息和知識。在聚類分析中，合理設(shè)置初始化參數(shù)是基于高斯混合模型的EM聚類算法的關(guān)鍵指標(biāo)。初始化參數(shù)的選取
5、和設(shè)置不僅會影響算法的迭代次數(shù)和算法執(zhí)行的復(fù)雜度，而且會影響到最終的聚類結(jié)果。因此，一個良好的初始化參數(shù)選取機(jī)制可以在減少迭代次數(shù)的同時，提高聚類結(jié)果的準(zhǔn)確度。本文通過對隨機(jī)初始化、K均值初始化、層次聚類初始化等傳統(tǒng)初始化方法進(jìn)行分析研究，提出了基于密度的Me瑪eC方法。該方法依據(jù)每類樣本中心部位密度大、邊緣部位密度小的特點(diǎn)，將各類中心部位的最優(yōu)候選中心提取出來進(jìn)行加權(quán)合并，從而得到高斯混合模型的參數(shù)值。通過實(shí)驗(yàn)和分析表明，該方法是高效、可行的。針對傳統(tǒng)EM算法中存在數(shù)據(jù)需要多次載入內(nèi)存、并行性較差以及執(zhí)行效率不高等問題，本文將串行EM算法與MapR
6、educe框架結(jié)合，給出了基于Hadoop平臺的分布式EM聚類算法，實(shí)現(xiàn)了EM算法的分布式并行處理方案。該算法通過合理的冗余操作，采用MeanMapReduce和VarMapReduce兩個階段分步計算各類的均值和協(xié)方差矩陣，達(dá)到對海量數(shù)據(jù)的分布式處理。最后通過在Hadoop集群上對不同大小的數(shù)據(jù)集進(jìn)行試驗(yàn)對比，結(jié)果表明隨著數(shù)據(jù)節(jié)點(diǎn)的增加，算法的執(zhí)行速度得到了極大提高。算法實(shí)現(xiàn)了大數(shù)據(jù)并行聚類分析和挖掘，顯著提高了EM算法處理海量數(shù)據(jù)集的執(zhí)行效率。TTTIV關(guān)鍵詞：EM聚類算法；Hadoop平臺；MapReduce框架；高斯混合模型AbstractW
7、iththeadventofBigData，researchersbothdomesticandoverseasincreasinglyputemphasisonhowtoobtainvaluableknowledgefromlargedata,howtodiscovermeaningfulpatternsandrulesfrommassivedatabyintelligentalgorithms，andhowtoextractguidanceandleadershipdecision-makinginformationfromdataoceanwi
8、theffectivetools．Asanimportantbranchofdataminingfield，
