基于mapreduce的高校大數(shù)據(jù)分析挖掘

《基于mapreduce的高校大數(shù)據(jù)分析挖掘》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、■＼一？＇■三—一—二＇’，：、一一‘－一一入．廣、：二、－一ｔ＇＇－；，＿＾—叫＇４————’－二，１一二．１單位代碼０４７６一?。墸墶АＲ灰灰唬牎墸灰唬保牐撸牐常埃福保福埃担担担颍崳姡墝W(xué)號＇■＇＊；／ｙ＞’＇：－ＴＰ分類號３９１產(chǎn)滾．／＇ｉ—，－：．．為Ｖ名護(hù)’＂＇．７節(jié)廣．．鄉(xiāng)：．：巧．丫巧；細(xì)鐘或種捉尖＃苗；查碩：ｔ學(xué)位論支ＷＪ？一一＇二三Ｉ＇．Ｉ．．－＾＊，．：、－基于ＭａＲｅｄｕｃｅ的離校大數(shù)據(jù)分

2、巧挖揺ｐ．－＊？，＇片，．．＇＇＇…＇■■■．ＶＶ；；．．／ｙＶ■／，？一＇＊＇．一＇ｉ—乂‘一．、＾二堯?yàn)椋牐墸妫牐o(hù)．學(xué)科、專業(yè)：計(jì)費(fèi)巧軟件與理論１，？斬究方巧：云計(jì)實(shí)、大數(shù)據(jù)每，；？巧請學(xué)位類別；理學(xué)碩±．＇．牢請人：司雅楠Ｋ扣＇私、－氣皆？指導(dǎo)教擠：青宏卿教授記：三’＇＇八．／＞Ｖ?。В?wèi)簦В崳姡。В?、＼Ｊ１；’＇－戶支＇＇豁Ｖ：．皆＇．，、—＊：二０六年五月．：＊，．：、｜．＞＇＇－．．乂■謀槪‘■、苗姑嚴(yán)－Ｖ‘，Ｖ公

3、＇、、＇線八爾．＂＇＇■－＇■＇、．＇Ｖ．、、ｈ：屯、；、私■＇－＇—＇＇＇Ｏ‘＇＾：＇＇；＿＞．＇令１：、ｌＶ＇．．Ｖ獨(dú)創(chuàng)性聲明本人鄭重聲明：所呈交的學(xué)位論文是我個人化導(dǎo)師指導(dǎo)下進(jìn)行的研究工作化取得的研究成果。盡我所知，除了文中特別加標(biāo)注巧致謝的地方外，論文中不包含其他人己經(jīng)發(fā)表或撰寫的研究成果，也不包含為獲得河南師范大學(xué)或其他教育機(jī)構(gòu)的學(xué)位或證書一所使用過的材料。與我同工作的同志對本硏究所做的任何貢獻(xiàn)均己巧論文中作了明確的說明并表示了謝意。簽名：心；司雜脯曰期關(guān)于論文使用授枚的說明

4、目Ｊ：本人完全了解河南師范大學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定，｜有枚保留并向國家有關(guān)部口或機(jī)構(gòu)送交論文的復(fù)印件和磕盤，允許論文被查關(guān)和借閱。本人授權(quán)河南師１范大學(xué)可將學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索，可＾１采巧影印、縮印或掃描等復(fù)制手段保存、匯編學(xué)位論文。（保密的學(xué)位論文在解密后適用本授巧書）簽名；；：導(dǎo)師簽名鬥期COLLEGEBIGDATAANALYSISANDMININGBASEDONMAPREDUCEADissertationSubmittedtotheGraduateSchoolofHenanNormalUniversityinP

5、artialFulfillmentoftheRequirementsfortheDegreeofMasterofScienceBySiYananSupervisor:Prof.GaoHongqingMay,2016摘要校園網(wǎng)建設(shè)已經(jīng)為高校的教學(xué)、科研和管理提供了先進(jìn)的綜合信息化環(huán)境。構(gòu)建于校園網(wǎng)之上的數(shù)字校園也不斷地完善，高校逐步實(shí)現(xiàn)了從環(huán)境、資源到應(yīng)用的全面數(shù)字化，通過對這些數(shù)據(jù)進(jìn)行集成與整合，達(dá)到科學(xué)規(guī)范的管理校園數(shù)據(jù)的目的。以校園網(wǎng)和數(shù)字校園為基礎(chǔ)，并且運(yùn)用云計(jì)算、物聯(lián)網(wǎng)和大數(shù)據(jù)技術(shù)構(gòu)建的智慧校園，旨在給予學(xué)生更智能的學(xué)習(xí)和生活環(huán)境。在數(shù)字化和智能化的過程中學(xué)校各

6、類應(yīng)用系統(tǒng)所產(chǎn)生的數(shù)據(jù)日益增長，已初步形成了校園大數(shù)據(jù)環(huán)境。高校大數(shù)據(jù)中蘊(yùn)含了豐富的信息，需要使用新的數(shù)據(jù)存儲和分析工具對海量的高校數(shù)據(jù)進(jìn)行存儲和分析，并從中獲得知識。為此，本文研究了數(shù)據(jù)挖掘相關(guān)算法在高校數(shù)據(jù)中的應(yīng)用，為構(gòu)建智慧校園提供合理的技術(shù)方法。本文首先采用主流的大數(shù)據(jù)處理平臺Hadoop2.0對校園大數(shù)據(jù)的存儲技術(shù)及方法進(jìn)行分析，Hadoop2.0可有效地克服文件系統(tǒng)的擴(kuò)展性差、資源利用率低和計(jì)算框架單一的缺陷；然后針對Apriori算法存在的耗時高、效率低的問題，提出基于MapRduce的最小支持度閾值算法，在學(xué)生成績模塊中驗(yàn)證改進(jìn)算法的有效性；其次針對決策

7、樹C4.5存在碎片過多、過度擬合的問題，提出基于MapReduce的C4.5交叉分塊算法，在學(xué)生助學(xué)金分類模塊中驗(yàn)證改進(jìn)算法的可行性；最后，從不同的評價標(biāo)準(zhǔn)分析驗(yàn)證所提算法的合理性。實(shí)驗(yàn)結(jié)果表明了本文提出的基于MapReduce的高校大數(shù)據(jù)挖掘方法的有效性，為高校大數(shù)據(jù)挖掘提供了新的研究思路，也為智慧校園的構(gòu)建提供了技術(shù)參考。關(guān)鍵詞：大數(shù)據(jù)，Hadoop2.0，Apriori，MapReduce，C4.5IABSTRACTTheconstructionofcollegenetworkhasprovidedadvancedinformati